Los LLM y las lenguas africanas

 

Investigadores de varias universidades y centros de investigación, liderados por David Ifeoluwa Adelani, han publicado un artículo técnico en el que analizan la aplicabilidad actual de los grandes modelos de lenguaje (LLM), como Gemini, Llama o ChatGPT a idiomas poco expandidos por el mundo y, en particular, a los idiomas africanos.

Para realizar el estudio, se ha desarrollado una base de datos, llamada IrokoBench, de traducciones de dichos idiomas al inglés realizadas por seres humanos de manera manual. Luego, se ha comparado el rendimiento de los LLM en esas lenguas comparado la generación de texto que realizan con los textos reales de la base de datos.

El estudio se ha realizado en diversas áreas: interface de lenguaje natural, razonamiento matemático y selección de opciones.  

El paper explica con detalle IrokoBench.

Las conclusiones no sorprenden. El rendimiento de los LLM en lenguajes no mayoritarios es pobre, algo lógico si se tiene en cuenta que el entrenamiento de las redes neuronales que constituyen el corazón de los modelos generativos de lenguaje son textos y documentos en los idiomas mundialmente prevalentes como el inglés (especialmente), el español, el francés o el chino. 

La traducción intermedia instrumental entre el lenguaje nativo y el inglés mejora algo el rendimiento pero, en cualquier caso, se precisa entrenar mucho más los LLM con idiomas no mayoritarios, algo tampoco tan sencillo ya que el corpus de documentos es mucho menor.

El artículo puede leerse en este enlace.