IT之家 10월 30일 자료, 사용자 수가 적은 언어의 사용자는 AI 서비스 이용 시 영어 및 기타 주류 언어 사용자보다 더 높은 비용을 지불해야 할 수 있다.
현지 시간 28일, 외신 Rest of World에 따르면 인공지능 언어 공정성 연구 컨소시엄이 지난달 발표한 연구에서, AI 모델이 서로 다른 언어를 처리할 때 소모되는 Token(토큰) 수가크게 차이 날 수 있다는 사실이 밝혀졌다.。
Token은 AI 모델이 텍스트 등 데이터를 처리하는 기본 단위로, 토크나이저가 텍스트, 이미지 또는 오디오를 분할하여 만들어진다. 연구진은 이로 인해 언어마다 발생하는 추가 비용을보이지 않는 ‘토크나이저 세’라고 불렀으며, 인터넷 콘텐츠가 적은 언어가 특히 취약하다.
연구에 따르면 인터넷에서 가장 많이 쓰이는 20개 언어만 해도 Token 소모량에 뚜렷한 차이가 있으며,최고는 최저의 1.5배에서 5배에 이른다.테스트 범위를 200개 언어로 넓히면 격차는 더욱 커진다. 한 AI 모델에서는언어 간 Token 소모량 차이가 최대 17배에 달했다.。
연구 보고서는 벵갈루르의 한 스타트업이 AI에 명령을 입력하고 답변을 받을 때마다 오스틴의 경쟁사보다 더 높은 비용을 지불할 수 있다고 지적했다. ‘토크나이저 세’가 초래하는 문제는 비용 상승만이 아니다. 소모되는 Token이 많을수록 AI 응답은 느려지고, 효과적으로 처리할 수 있는 컨텍스트 내용도 줄어든다.
컴퓨팅 자원과 네트워크 환경이 원래부터 열악한 지역이 특히 큰 영향을 받는다.토큰 처리의 불평등은 사람들이 AI 경제에 참여할 기회도 제한한다.。
인도 최초의 AI 투자 전문 벤처캐피탈 펀드 Activate AI의 공동창업자 프라티유시 초두리는 영어가 아닌 언어를 사용할 경우 같은 컨텍스트 용량에 담을 수 있는 문서와 대화 기록이 더 적고, AI가 답변을 생성하는 것도 더 힘들다고 지적했다.
초두리는 교육을 예로 들어 설명했다. “선생님이 학생을 잘 가르치려면학생이 이전에 어떤 실수를 저질렀고 어떤 설명을 받았는지 기억해야 한다.특정 언어를 사용하면 이런 기록들이 금방 컨텍스트 창을 가득 채워 결국 수업의 질에까지 영향을 미친다.”
초두리는 언어 처리 효율이 정확성, 속도, 신뢰성처럼 AI 제품의 기본 요건이 되어야 한다고 생각한다. “모든 언어가 완전히 동등한 대우를 받아야 한다고 요구하는 것은 비현실적일 수 있지만,오랫동안 존재해 온 큰 격차에 대해서는 여전히 합리적인 설명이 필요하며개선 계획을 수립해야 한다. 모든 주요 AI 연구소가 언어별 평가 결과를 공개하고, 서로 다른 언어로 동일한 난이도의 과제를 수행하는 데 각각 얼마가 드는지 밝히며, 지원이 가장 취약한 언어를 개선해 정량화 가능한 진전을 이루겠다고 약속해 주기를 바란다.”
IT之家는 보도를 통해 이 문제를 개선하는 방법 중 하나가기반 데이터의 품질을 높이는 것임을 알게 되었다.。
뭄바이의 AI 음성 인프라 스타트업 Navana.ai의 공동창업자 겸 CEO 라울 나나와티는 “오픈 데이터 프로젝트가 이 분야에서 중요하다. 예를 들어 우리가 인도 과학원과 협력하고 게이츠 재단의 지원을 받는 RESPIN 프로젝트는 38개 방언의 모어 화가 제공한 텍스트과 낭독 녹음을 수집했다”고 말했다.。”
하지만 인공지능 언어 공정 연구 컨소시엄은 토큰 소비량을 결정하는 것은 한 언어의 사용자 수만이 아니며,어떤 문자를 사용하는지도 마찬가지로 중요하다고 밝혔다。
예를 들어, 아스투리아스어는 사용자가 많지 않고 Common Crawl 데이터셋에도 수록되어 있지 않지만,라틴 문자가 이 언어에 유리하게 작용했다이탈리아어 등 같은 로망스어족 언어들이 데이터에서 어느 정도 다루어지고 있어 아스투리아스어도 그 혜택을 입었다.
Maya Research CEO 디만트 레디는 기존의 많은 토크나이저가 여전히 주로영어 등 데이터 자원이 풍부한 언어에 맞춰 최적화되어 있으며, 근본적인 문제는 고품질의 디지털화된 데이터가 부족하다는 점이라고 지적했다.
레디는 훈련 데이터 자체를 개선하는 것만으로는 부족하다고 강조했다: “토큰 가격은 빠르게 하락하고 있어 비용 차이가 만드는 직접적인 영향은 점차 줄어들 것입니다. 더 나은 다국어 데이터와 합성 데이터도 모델 품질 향상에 도움이 됩니다. 하지만 언어 간 토큰화 격차를 진정으로 줄이려면 AI 연구소들이 여전히차세대 토크나이저의 설계를 전문적으로 개선하여 이러한 언어와 문자를 더 잘 처리하도록 만들어야 합니다.”