다문화 학급 수업
원본
이렇게 화면에 보이다시피 제가 한국어로 설명을 하면 선택한 세계 언어로 실시간으로 번역이 제공이 되는 것을 확인하실 수가 있습니다 스마트폰 있는 곳에서 언어를 선택을 하실 수가 있잖아
그건 제가 실시간으로 이렇게 얘기하면 제가 설정한 언어들로 자동으로 이렇게
언어 번역이 가능합니다 계속 교수님은 수업 중에 계속해서 한국말로 수업을 하시면 저희가 설정한 언어들로 실시간으로 번역이 돼서 학생들은이 qr 코드를 찍게 되면 본인 스마트폰에서 자기가 선택한 언어로 번역된 내용들을 볼 수가 있습니다
테스트합니다
어플리케이션 테스트 중입니다
예 잠깐
테스트를 보여 드리도록 하겠습니다 여기 qr 코드를 스마트폰 카메라로 찍으시면
학생 화면을 보실 수가 있습니다 스마트폰으로 qr 코드를 한번 찍어 봐 주시고요 지금은 제가 언어를 세 개 정도 선택을 해 놨거든요 언어는 현존하는 언어는 전부 선택이 가능하도록 되어 있습니다 다만 한국에 들어와 있는 학생들은 대부분 10개국 안에서
대부분 10개국 안에서 학생들이 대부분 들어오고 있는 걸로 알고 있습니다 지금은 영어 중국어 베트남어로 실시간으로 번역이 되고 있는 것 보실 수가 있습니다 그래서 교수님은 언어를 신경 쓰지 않으시고 계속 수업을 하시면 학생들은 본인들 스마트폰에서 교수님들의 내용을 실시간으로 번역된 걸 볼 수가 있습니다 그리고 수업이 다 끝나고 나면
지금 제가 실시간으로 이야기하는 거를 저희가 선택한 언어로 번역을 해 주고 있습니다 여기 qr 코드를 스마트폰으로 찍어 보시면 그 스마트폰 화면에서 바로 보실 수가 있거든요 한번 찍어 보시겠습니까
네 아래쪽 화면에서 언어를 선택하실 수가 있구요
영상 같은 거 ppt 화면 띄우고 가셨습니까 그때는 어떻게 되는 거예요 아 PPT 자료가 자동으로 번역되진 않고요 예 PPT 자료는 별도로 이거는 지금 저희가 교수님들 저희가 수업을 할 때 뭐 일단 처음에 시작할 때마다 띄워 놓고 각자 결합하고 앞에서 수업은 그러면 다른
걸로 계속 얘기하는 거는 다 보여요 아이 이미지는 사진 찍어서 또는 이제 요즘 이미지를 또 트랜스퍼 있는 기능들도 많이 있으니까 그런 부분은 보안은 가능합니다 지금 여기 노트북 마이크로 통해서 번역이 되고 있어서 제가 얘기하는게 이제 대부분 번역이 되고 있고요 멀리 떨어지신 분들은 그 마이크로 음성이 잘 안 들어오기 때문에 대부분 이제 핀 마이크를 착용하고 교수님이 얘기하시면 거의 안 놓치고
번역이 가능합니다
자 테스트합니다 이렇게 지금 보면은 이렇게 바뀌잖아요 이렇게 이렇게 찍히는 거랑
이러다가 이제 내가 멈추거나 이렇게 하면은 이거는 완성됐다고 보고 올리고
이렇게 돼 있거든
그래 가지고 여기 이제 까맣게 나오잖아 까맣게 이렇게 나오는 부분은 아직까지도 진행 중인 문장이 완성된게 아니라
따로 뽑는 그게 없더라고
그러니까 문제지 스트링 객체가 아니라 웹 스피치 API 객체를 하나 생성 아예 객체를 하나 생성을 하는 거지
객체를 생성을 해서 그 세팅을 해 놓으면은 심지어 이제 지금 타자가 어떤 언어로 스피칭을 하는지를 미리 설정을 해 놔 그러면은 아예 얘가 마이크 스트림을 이용을 해서 데이터를 받아서 텍스트로 만들어 버렸다
그러니까 그렇게 쓰기에는
좀 문제가 좀 있지 않을까 왜냐하면 걔는 자체적으로 이제 스트림을 마이크 스트림을 이제 그 부분을 가지고 이제 스트리밍을 하니까 어차피 그 용도로
된단 말이야
그러니까이 브라우저에 그 기본 기능으로도 이렇게 이제 가능한데
우리가 이제 음성 데이터를 전송을 한다든지 쓰고 있고요 그 기본 기능으로 보내고 있고 근데 이제 내가 이렇게 텍스트가 만들어졌어이 만들어지는 거는 이제 우리 서버로 보내는 거야 우리 서버로 보내서
구글 API 이용해서 번역해서 이제 상대편에 단말기에이 내용들이 이제 전송이 되지 전송되는 시점에 그러면 이게 딱 이렇게 생길 때 그때
이게 같이 보내지지를 단위로 지금 지금 요게 그러면 다른 서버 다른 클라이언트라고 생각하거든요 이게 똑같아요 그러니까 지금 내가 어떻게 하냐면은 단어 단위로 일단은 끊어서 전송을 하거든 너무 음질 단위로 끊어 버리면이 텍스트만 하더라도 그렇더라고 이게
한 세 글자잖아 그러면 이게 만들어질 때마다 패턴을 날리는데 한 단어 두 단어 세 단원네 단어 다섯 여섯 단 7자는 뭐 이런 식으로 해서 계속 이게 기하급수적으로 전송되어 있는
이것도 이제 문제가 돼서 지금은
이렇게 어떤 실시간을 부인을 하려고 그러는데 그래서 이제 단어 단위로 끊어 버렸지
그러면은 전송 회수를 갖다가 줄일 수가 있습니다 그리고 번역 비용도 문제가 되고
요 어쨌든 내 생각에는 그거를
그렇게 비용을 가질 거 같은데
유료가 아니라면 근데 그거
모르겠네 왜냐면은 구글 이제 트랜슬레이션 API 같은 거를 이제 적용을 할 때 적용을 할 때 그때 어쨌든 하나의 앱 키 단위로 될 거지
그러니까 그러니까 나 같은 경우는 이제 보낼 때 그 다음에이 공백 단위로 해 가지고 단어를 개수를 세
수를 세고 그다음에 1차적으로 이제 그 개수가
경우에 따라서 이게 지금 말을 만들다가 줄이기도 하고 이러거든 그러다 보면은 개수가 이전 개수보다 따는 수가 많아야 돼 많으면은 전송을 하고 그렇지 않으면 전송을 안 합니다
그렇지 그렇지
그런 식으로 이렇게 이제 만들어 놨기 때문에
그러니까 이게 동시에 가능하다 그러면은 동시에 가능하다 그러면 정 안 되면은
지금 어차피
외에는 지금 저희 것도 문제가 많아요
나도 지금 이게 모바일에서 에러가 나와 어떤 에러가 있냐면 지금처럼 이렇게 이거는 완결 지금 하지 않았다라고 이렇게 되는데 모바일에서는 무조건 완결했다고 지금 찾아가고 수정을 해요
약간은
그 디바이스마다 같은 그런 브라우저라고 약간 문제가 좀
거의 바로바로 바뀌잖아요
약간의 시간 차는 좀 있지만
기본적으로 php에요 자바스크립트로 이제 있긴 하지 뭐 어차피 그 브라우저에서는 어차피 컨트롤 하는 건 잡아서 검토를 해야 됩니다
원래는 내가 이거를
php에도 라이브와이어라는 그런 밴드에서 하는 그런게 있거든요 그런 것들을 이용하고 라이브와이어 안에서도 이제 기본적으로 자바스크립트라든지 이런 것들을 쉽게 이렇게 적용을 해서 쓸 수 있게끔 이렇게 해 놨는데
특히이 010 플랫폼이나 이것들은 기본적으로 제이쿼리 기반으로 그러니까 전부 다 떨어졌고
원래 내가 이제 처음에 만들 때는
처음에 파일럿으로 이렇게 만드는 거 별도로인데
프로젝트를 해서 별도로 불리게 됐습니다
가능하도록 만들어 버리면 되겠죠
이거는 내가 보니까 거의 5개년 계획 이런 식으로 5년에 1년에 거의 12억씩
미정이에요 우리가 이제 이거를 제안을 해야 되는 입장이거든
제안을 해야 되는데 다들 지금 뭐 벙쪄 있지 뭐 어느 정도 기간에 걸쳐서 하는 것들 인연에 따라서 그건 일단은 기능만이라도 기간 상관없이 왜냐하면 그거는 나중에 이제 그거를 해서이 기간에 이걸 하겠다 저 기간에 문제 기간은 시기를 갖다가 조정을 하면 되니까 일단은 기능부터 뽑아내고 우리가 이런 기능을 제공해 줄 수 있다라는게 일단은 제한이 돼요
그래도
이야기가 참 영양가 있었어
오케이 알았어요
제가 지금 이렇게 실시간으로 이야기하면 제가 선택한 언어로 실시간으로 번역이 가능하거든요 그래서 여기 QR 코드 교수님 한번 찍어 보시겠습니까
QR 코드 들어오셨으면 그 하단 ui에서 원하시는 언어를 선택하시면 돼요 저희 지금은 제가 세 가지 언어만 선택을 해 놨거든요 그래서 교수님이네이 웹을 띄워 놓고 실시간으로 계속 강의를 하시면 이렇게 번역이 다 실시간으로 계속 되는 겁니다 그래서이 번역은 이렇게 지금 됩니다
지금 이제 여기 보시면 이렇게 이제 언어를 선택을 하실 수가 있거든요
그러면 이제 내 스마트폰이나 태블릿으로 학생들이 이제 보게 되면요 다음 단위인데 어떻게 되냐면 이제 목록
안녕하세요 제 이름은 이승호입니다
그럼 이제 이렇게 실시간 번역이 되거든
여기 나오는 언어는
번역
As you can see on the screen, when I explain in Korean, you can see the translation provided in real time into the selected world language. You can select the language from where your smartphone is.
If I speak like this in real time, it will automatically be like this in the languages I have set.
Language translation is possible. If the professor continues to teach in Korean during class, it will be translated in real time into the languages we have set. Students can scan this QR code and see the translated content in the language of their choice on their smartphones.
I`m testing it
Testing the application
Yeah wait
Let me show you a test. Here is a QR code. Take a picture with your smartphone camera.
You can see the student screen. Please take a picture of the QR code with your smartphone. Right now, I have selected about three languages. You can select all existing languages. However, most students in Korea are from within 10 countries.
I understand that most of the students come from within 10 countries. Now, you can see that it is being translated in real time into English, Chinese, and Vietnamese. So, if the professor doesn`t care about the language and continues teaching, the students can see the professor`s content translated in real time on their smartphones. And after the class is over,
What I`m talking about right now is being translated into the language of your choice. If you scan the QR code here with your smartphone, you can see it right on your smartphone screen. Would you like to scan it?
Yes, you can select your language on the screen below.
Did you open a PPT screen like a video and leave? What happens then? Oh, the PPT data is not automatically translated. Yes, the PPT data is separate. When we, the professors, teach, we open it at the beginning and combine it. Then, the class in front is different.
You can see everything that I keep talking about. The child`s image is taken by taking a picture, and these days, there are many functions to transfer images, so that part is secure. Right now, it is being translated through the laptop microphone, so most of what I say is being translated. People who are far away have difficulty hearing the microphone, so most of them wear a pin microphone and when the professor speaks, they almost never miss anything.
Translation is possible
Okay, let`s test it. If you look at it now, it changes like this. It`s like this and it`s taken like this.
If I stop like this or do this, I will report this as completed and upload it.
It`s like this
So, here, it`s completely black. The part that`s completely black is not a completed sentence that`s still in progress.
There was no separate selection
So the problem is not creating a string object, but rather creating a web speech API object.
If you create an object and set the settings, you can even set the language that the speaker is speaking in in advance. Then, it uses the microphone stream to receive data and converts it into text.
So, to write like that
I think there might be a problem because he`s streaming by himself, and he`s streaming with that part anyway.
That`s what I`m saying
So, this browser is now capable of doing this with its basic functions.
We are now sending voice data and using it as a basic function, but now that the text has been created, it is sent to our server. It is sent to our server.
When the translation is done using Google API, the contents are now sent to the other party`s terminal. When the transmission is done, it happens like this.
If this is sent together as a unit, then I think it`s a different server and a different client. This is the same. So what I do now is, I first cut it into word units and send it. If I cut it into sound quality units, even if it`s just text, it`s like that.
It`s one or three letters, so every time this is created, it sends a pattern, one word, two words, three words, four words, five, six, seven letters, and so on, and so on, and this is transmitted exponentially.
This is also a problem now, so now
I`m trying to deny this real time, so I`ve broken it down into words.
Then, the number of transmissions can be reduced and translation costs can also be reduced.
Well anyway, I think that`s it
I think it will cost that much
If it`s not paid, then that`s it
I don`t know because when Google applies something like the translation API, it will be per app key anyway.
So, in my case, when I send it, I count the number of words by space units.
Count the number and then first of all, the number is
In some cases, this is done by reducing the number of words that are being created, and so on. In such cases, the number of words that follow should be greater than the previous number. If there are more, it is transmitted, otherwise, it is not transmitted.
Yeah, yeah
Because it was made like this now
So if this is possible at the same time, then it is possible at the same time, then if it is not possible, then
Anyway now
Besides that, we also have a lot of problems right now.
I`m also getting an error on mobile right now. The error is like this. It says, "This is not finished yet." But on mobile, it says, "It`s finished now." I have to go find it and fix it.
A little bit
There is a bit of a problem because the browser is the same for each device.
It changes almost immediately
There is a bit of a time difference though
Basically it`s php. Now it`s javascript, but anyway, you have to catch and review the control in that browser anyway.
Originally I was going to do this
There is something like this in a band called LiveWire in PHP. They use that, and within LiveWire, they have made it so that you can easily apply JavaScript and other things like that.
In particular, this 010 platform and these are basically based on jQuery, so they all fell apart.
Originally, when I first made this
At first, it was made separately as a pilot.
I got called separately because I did a project
You just have to make it possible
From what I see, this is almost like a 5-year plan, with about 1.2 billion per year for 5 years.
It`s not decided yet. We are now in a position to make this proposal.
I have to make a proposal, but everyone is dumbfounded right now. It`s something that takes a certain period of time, depending on the relationship, it`s at least the function for now, regardless of the period, because later on, we`ll do that, and during that period, we`ll do this, and during that period, we can adjust the timing, so for now, we`ll extract the function and the fact that we can provide this function is limited.
still
The story was very nutritious
Okay, I got it.
If I speak like this in real time, it can be translated in real time into the language I have chosen. So, would you like to scan the QR code here, Professor?
If you have entered the QR code, you can select the language you want from the UI at the bottom. Right now, I have selected only three languages. So, if the professor opens this web and continues to lecture in real time, the translation will continue in real time like this. So, the translation is like this now.
Now, if you look here, you can now select the language.
So now when students see the next unit on my smartphone or tablet, what happens is that it`s a list.
Hello, my name is Seungho Lee.
So now we have real-time translation like this
The language that appears here is
강의가 종료되었습니다.