IT之家 El 30 de octubre, los usuarios de lenguajes con menos número de usuarios podrían necesitar pagar tarifas más altas que los usuarios de inglés y otros idiomas principales al utilizar servicios de IA.
En la fecha local del 28, según informa el medio extranjero Rest of World, un estudio publicado el mes pasado por la Alianza de Investigación sobre la Equidad en el Lenguaje de la Inteligencia Artificial revela que la cantidad de Token que consume un modelo de IA al procesar diferentes idiomaspodría variar significativamente.
El token es la unidad básica que los modelos de IA utilizan para procesar datos como texto, y es formado por el segmentador del texto, imágenes o audio. Los investigadores denominanel “impuesto oculto del segmentador” el costo adicional generado por esto en diferentes idiomas, y los idiomas con menos contenido en línea son especialmente vulnerables a ello.
Los estudios han demostrado que, incluso entre las 20 lenguas más utilizadas en Internet, existe una diferencia notable en el consumo de tokens: el máximo es 1.5 a 5 veces menor que el mínimo. Si se amplía el rango de pruebas a 200 lenguas, la diferencia se acerca aún más. En uno de los modelos de IA, la diferencia en el consumo de tokens entre las diferentes lenguas es de hasta 17 veces.
El informe de investigación señala que una empresa startup de Bangalore puede tener un costo más alto que sus competidores en Austin cada vez que introduce instrucciones en la IA y obtiene una respuesta. Los problemas causados por el “impuesto del partículador” no se limitan solo al aumento de los costos. Cuanto mayor sea la cantidad de tokens consumidos, más lenta será la respuesta de la IA y menos contenido contextual podrá procesarse eficazmente.
Las regiones donde los recursos de cálculo y las condiciones de red son limitados se ven afectadas de manera especialmente grave. La desigualdad en el procesamiento de palabras también limita las oportunidades de las personas para participar en la economía de la IA.
Pratyush Chaudhury, cofundador de Activate AI, la primera fundación de inversión en IA de India, señaló que al usar lenguajes no en inglés, la cantidad de documentos y registros de diálogo que se pueden almacenar con la misma capacidad de contexto es menor, y las respuestas generadas por la IA son más difíciles de producir.
Jorudri explicó con un ejemplo de enseñanza: “Para que el maestro enseñe bien a los estudiantes,Hay que recordar los errores que han cometido los estudiantes anteriormente y las explicaciones que han recibido.“Si se utiliza algún tipo de lenguaje, estas registros históricos se llenan rápidamente la ventana de contexto, y al final incluso la calidad de la enseñanza se ve afectada.”
Jodhri cree que la eficiencia en el procesamiento del lenguaje debe ser, al igual que la precisión, la velocidad y la fiabilidad, un requisito básico para los productos de IA. “Es posible que no sea realista exigir que todos los lenguajes reciban un trato completamente igual, pero la gran diferencia que persiste a largo plazo debe ser explicada de manera razonable, y se deben elaborar planes de mejora. Espero que todas las principales laboratorios de IA publiquen los resultados de sus evaluaciones de los diferentes lenguajes, indicando cuánto costa realizar tareas de igual dificultad en diferentes idiomas, y comprometerse a mejorar el soporte para los lenguajes con menor fortaleza, logrando avances cuantificables”.
IT Home obtuvo información de los reportes, según una de las formas de mejorar este problema.Es para mejorar la calidad de los datos en la capa inferior.。
Ruar Nanawaty, cofundador y CEO de la startup de infraestructura de voz AI de Mumbai, Navana.ai, considera: “Los proyectos de datos abiertos son muy importantes en este sentido. Por ejemplo, el proyecto RESPIN, en colaboración con el Instituto de Ciencias de la India y financiado por la Fundación Gates, recopiló 38 dialectos de hablantes nativos, textos y grabaciones de lectura”.
Sin embargo, la Alianza para la Investigación de Equidad Lingüística en Inteligencia Artificial ha descubierto que lo que determina el consumo de tokens no es solo el número de hablantes de un idioma, el tipo de escritura utilizada también es importante.
Por ejemplo, el uso del idioma asturiano es poco común y no está incluido en los conjuntos de datos de Common Crawl, pero las letras latinas le brindan ventajas. Las lenguas de la familia románica como el italiano están cubiertas en los datos, lo que también beneficia al asturiano.
El CEO de Maya Research, Di Mant Reidi, señaló que muchos partidores de palabras todavía se optimizan principalmente para lenguajes con abundantes recursos de datos como el inglés, y el problema real es la falta de datos digitalizados de calidad.
Reedi enfatizó que mejorar los datos de entrenamiento por sí solos no es suficiente: “El precio de los tokens disminuye rápidamente, y el impacto directo causado por las diferencias en los costos debería disminuir gradualmente. Datos multilingües de mejor calidad y datos sintetizados también ayudan a mejorar la calidad del modelo. Pero para reducir realmente la diferencia en el segmentación entre diferentes idiomas, los laboratorios de IA todavía necesitan mejorar específicamente el diseño del próximo generador de segmentación, para que pueda manejar mejor esos idiomas y textos”.