[체험기] 삼성 첫 AI폰 ‘갤럭시S24’, 전화만 하면 알아서 통역?... “한국어->외국어 번역은 일부 오류”

#태국을 찾은 서양인이 택시를 잡지 못해 애를 먹고 있다. 대부분의 택시기사들이 영어를 알아듣지 못하기 때문이다. 그때 ‘갤럭시S24′를 든 한 남자가 공항을 걸어 나와 전화를 걸어 영어로 말한다. “Hello. I am at gate 6. wearing a gray shirt.(저 6번 출구 앞에 있어요. 회색 셔츠 입고 있습니다)”. 남자의 말은 실시간으로 태국어로 통역돼 택시기사에게 전달된다. 택시기사는 태국어로 “알겠다. 2분 내로 도착한다”라고 말하고 출발한다. 남자와 택시기사가 만날 때 영상에는 ‘안 통해도. 전화만 하면. 알아서’라는 문구가 나온다. 갤럭시S24의 실시간 통역 기능을 소개하는 광고 영상 내용이다.

언어의 장벽을 허물었다는 평가를 받는 삼성전자의 첫 번째 인공지능(AI)폰 갤럭시S24 시리즈의 통역 기능이 인기다. 네트워크 연결 없이 ‘온디바이스 AI’를 통해 실시간 통역과 번역을 제공하면서 ‘통역의 시대는 끝났다’ ‘더 이상 영어 공부하지 않아도 된다’ 등 긍정적인 평가가 나오고 있다. 다만 ‘문맥을 이해하지 못해 전혀 엉뚱한 말을 한다’ ‘아직은 초등학교 저학년 수준이다’ 등 부정적인 인식도 있다. 일주일간 갤럭시S24 울트라를 통해 실시간 통역 기능을 써봤다.

갤럭시S24의 통역 기능은 언제 어디서나 통역 서비스를 쓸 수 있다는 점에서 긍정적인 평가를 줄 수 있다. 다만 해외 여행 중 길을 찾거나 식당을 예약하는 정도에서 만족해야 할 것 같다. 특히 문서 번역과 달리 실시간 전화 통역 서비스에서는 인식률이 떨어지고 딜레이(지연현상)가 발생해 성격이 급한 한국인들에게는 답답하게 느껴질 정도였다.

그래픽=정서희

◇ 일상 통역은 수준급… 엉뚱한 오역에 짧은 대화가 긴 시간 걸리기도

중학교에서 영어강사로 일하는 40대 미국인 윌리엄과 갤럭시S24 실시간 통역 기능을 활용해 전화 통화를 시도했다. 통화 주제는 미국 택시기사와 나누는 일상 대화다. 윌리엄이 택시기사 역할을 맡았다. 윌리엄은 ‘미국에 어떤 일로 방문했고, 지금까지 방문은 어땠냐(What bring you to the US? Are you enjoying your visit so far?)’라고 영어로 물었다. 윌리엄의 말은 실시간으로 한국어로 번역돼 전달됐다. 의사소통에 전혀 문제가 없을 정도였다.

‘모터쇼 관람을 위해 왔고, 현재까지는 재미있었지만 사람이 많아 힘들었다’라고 한국어로 말하자 1초 만에 영어(I’m here to see the motorshow. Well, it’s been fun so far, but it’s been a little hard because there are so many people)로 번역돼 전달됐다. 여기까지 대화는 완벽에 가깝게 통역됐다.

그런데 이후 윌리엄의 ‘시운전을 할 기회가 있었나(Did you get to test)’라는 질문에 ‘운전면허 문제로 시운전은 못했다’라고 답하자 갤럭시S24는 전혀 다른 번역을 하면서 말이 통하지 않았다. 갤럭시S24는 시운전은 못했다는 기자의 답변을 ‘Drive the cars yourself(직접 차를 운전해라)’로 통역해 전달했고, 윌리엄으로부터 ‘통역이 이상하네요’(Oh, The interpretation is weird)라는 답을 들으며 대화가 마무리됐다. 윌리엄과 통화는 5분 30초 정도 이어졌는데, 실제 대화한 문장은 ‘모터쇼를 보기 위해 미국에 왔다’ ‘현대차의 제네시스 신형이 흥미로웠다’ ‘운전면허 문제로 시운전은 못 해봤다’ 정도로 끝났다. 오역이 발생하면서 대화가 갑자기 끝났지만, 오역과 별개로 짧은 대화를 하는 데 생각보다 긴 시간이 걸린 부분은 한계로 꼽혔다.

◇ ‘한국어→외국어’ 통역 오역 많이 발생

국제결혼으로 한국에서 거주 중인 30대 베트남 여성 하이와 베트남어, 영어로 각각 대화했다. 대화 주제는 마이클 샌델의 책 ‘공정하다는 착각’을 바탕으로 능력주의가 과연 공정한가, 택시를 예약했는데 예약 시간이 지나도 오지 않는 상황이다. 하이는 베트남어와 영어로 말했고, 기자는 한국어로 말했다. ‘능력주의를 공정하다고 할 수 있느냐’는 기자의 질문에 갤럭시S24는 능력주의를 ‘meritocracy’로 정확히 인식해 영어로 전달했다. 다만 ‘능력주의가 같은 기회를 제공한다고 생각하느냐’라는 한국어 질문은 제대로 영어로 통역하지 못해 질문을 바꿔가면서 해야 했다.

그래픽=정서희

갤럭시S24는 한국어를 다른나라 언어로 통역할 때와 달리 반대의 경우 상대적으로 빠르고 정확하게 통역하는 모습을 보였다. ‘개인 기술만으로 성공을 결정하는 능력주의에 대해 충분히 의문을 제기할 수 있다’ ‘많은 외부 요인이 우리의 기회와 결과를 형성하는 역할을 한다’ 등을 영어와 베트남어로 번갈아 말해도 한국어로 잘 통역해 전달했다.

이는 한국어로 말할 때는 주어와 보어, 목적어를 빼는 경우가 많고, 문맥에 따라 의미를 유추하는 만큼 이전 대화를 기억하지 못하면 전혀 엉뚱한 통역이 나오는 경우가 많았다. 가령 글로 쓸 때는 ‘8시 45분에 예약했는데 아직 오지 않는다’라고 쓰지만, 실제 말할 때는 ‘8시 45분 예약 안 온다’라고 하는 경우가 많다. 그럴 때 갤럭시S24는 ‘at 8:45′ ‘for 8:45′을 제대로 구분하지 못했다. 실제 대화에서는 인식하지 못하는 오류가 통역 과정에서 오역으로 나타난 것이다.

◇ 문맥 의존하는 ‘한국어’ 특성… 한국어 언어모델 학습 더 필요

정부의 AI 학습용 데이터 구축 사업(한국어 음성 데이터)에 참여한 김수연 세종대 영어영문학과 교수는 이런 현상에 대해 “한국어의 음성인식 통역 데이터가 부족하기 때문”이라고 평가했다. 김 교수는 “영어는 문법적으로 주어나 명사가 반드시 나와야 하는 반면 한국어는 자연스럽게 (이런 것들이) 생략되는 경우가 많아 문장 자체만으로 해석하기가 힘들다”며 “사람은 앞이나 앞앞 문장과 연결해 이해하지만, AI 통역은 그렇지 않아 완벽한 통역이 어려운 것”이라고 설명했다. 한국어는 문맥 의존어로 문맥에 맞춰 의미를 판단하는 만큼 완벽한 AI 통역을 위해서는 한국어 음성인식 통역 데이터 학습이 필요하다는 것이다.

박진호 서울대 AI연구원 부원장(국어국문학과 교수) 역시 “영어에 비해 한국어는 (특히 구어에서) 문장 성분의 생략이 빈번하다”라며 “영어 데이터 위주로 훈련된 언어모델이 생략된 문장 성분을 제대로 파악하는 건 쉽지 않은 문제”라고 했다. 박 교수는 “문어에 비해 구어는 문장 성분 생략이 훨씬 많기 때문에 인간 통역자든 AI든 어려움을 겪게 될 수밖에 없다”라며 “결국 문장 성분이 많이 생략된 구어 한국어 데이터를 언어모델에 많이 넣어서 훈련시켜야 한다”라고 했다.