¿Convergen los LLM con el cerebro humano?

 

Es bien conocida la explosión que, en los últimos año, han tenido los Grandes Modelos de Lenguaje, o LMM en su terminología inglesa. Se trata de redes neuronales basadas en transformers que, a base de escalarlas a cientos de miles de millones de nodos, comienzan a generar texto que parece ser humano.

¿Pero este resultado que aparenta ser humano es un puro algoritmo o esas redes neuronales que generan los textos tienen algo que ver con cerebros humanos?

Investigadores de  la Columbia University y el Feinstein Institutes for Medical Research Northwell Health han investigado la similitud entre las representaciones que los LLM realizan en el curso de sus cálculos con las respuestas neuronales que presentan los cerebros reales al procesar el habla.

Los resultados, publicados en Nature Machine Intelligence, muestran que a medida que los LLM se van volviendo más eficientes, también aparentan funcionar más como cerebros, es decir aumentan las similitudes entre los patrones de actividad de ambos sistemas, el de nodos informáticos (o neuronas artificiales) y el de neuronas con sinapsis reales. 

El estudio analizó 12 LLMs diferentes y registró las reacciones del cerebro con encefalogramas. En concreto, se estudió  Tras recopilar los datos, los investigadores utilizaron herramientas informáticas para determinar hasta qué punto coincidían los LLM y el cerebro. 

En concreto, observaron qué capas de cada LLM mostraban mayor correspondencia con las regiones cerebrales implicadas en el procesamiento del lenguaje, en las que se sabe que las respuestas neuronales al habla «construyen» gradualmente representaciones lingüísticas mediante el examen de los componentes acústicos, fonéticos y, finalmente, más abstractos del habla. 

Según los científicos, a medida que los LLM se vuelven más potentes (por ejemplo, a medida que mejoran en la respuesta a preguntas como ChatGPT), sus incrustaciones se vuelven más similares a las respuestas neuronales del cerebro al lenguaje. Lo más sorprendente es que, a medida que aumenta el rendimiento de los LLM, también aumenta su alineación con la jerarquía del cerebro. Esto significa que la cantidad y el tipo de información extraída en las sucesivas regiones cerebrales durante el procesamiento del lenguaje se alinea mejor con la información extraída por las sucesivas capas de los LLM de mayor rendimiento que con los LLM de menor rendimiento. «Estos hallazgos tienen varias implicaciones, una de las cuales es que el enfoque moderno de las arquitecturas y el entrenamiento de los LLM está llevando a estos modelos hacia los mismos principios empleados por el cerebro humano, que está increíblemente especializado en el procesamiento del lenguaje.

¿Significa esto que existen  principios fundamentales que subyacen a la forma más eficiente de entender el lenguaje, o simplemente por casualidad, parece que tanto los sistemas naturales como los artificiales están convergiendo hacia un método similar para el procesamiento del lenguaje? es una pregunta que habrá de determinarse en el futuro.  

Puede leerse todo el interesante artículo científico en este enlace.