Modelo de lenguage LLM capaz de seguir contextos muy largos

 

Las redes neuronales que simulan el lenguaje natural tienen límites en cuanto a la cantidad de palabras o frases ("tokens", dependiendo del sistema) que pueden almacenar y computar como contexto. En largas conversaciones, estos sistemas tienden a colapsar porque ya no pueden procesar todo el volumen de contexto de lo hablado y deben, por así decirlo, recomenzar desde cero o desde información fragmentada arbitrariamente reducida. Cuando esto ocurre, además, la calidad de la conversación se deteriora rápidamente sin, normalmente, recuperar el sentido.

Investigadores de Google Deep Mind, liderados por Kuang-Huei Lee, han publicado un artículo científico en el que abordan un posible método para solventar el problema. Proponen el modelo denominado ReadAgent que, aseguran, puede mejorar en un factor de 20 la capacidad del sistema neuronal de manejar contextos muy largos. 

El algoritmo decide primeramente que información de toda la generada puede ser relevante en el futuro (algo ya de por sí, difícil de lograr). A continuación, comprime esta información (que podrían ser largo párrafos) en núcleos reducidos de datos a los que llaman gist memories (podríamos traducirlo por "recuerdos esenciales")  y, por último, cuando el sistema comienza a tener problemas manejando el gran volumen de datos del contexto, selecciona aquellos que estén relacionados con esa información esencial. Así, en cualquier momento, la conversación continúa teniendo sentido y continúa estando centrando en el verdadero objeto de la misma.

Esto es importante también para un futuro uso de los LLM en la creación de literatura de calidad. Por ejemplo, al leer una novela, un lector humano puede inferir el comportamiento de un personaje no sólo porque recuerde lo ocurrido en las páginas previas sino porque ha comprendido lo esencial a lo largo de toda la novela, de lo leído hasta ese momento. El cerebro no puede recordar todo lo leído pero sí ha creado un modelo de lo esencial de cada personaje y eso nos permite, como lectores, no perdernos en la trama.

Evidentemente, aquí, la técnica vital es cómo ReadAgent puede "seleccionar", de entre todo lo almacenado esos recuerdos esenciales. El algoritmo sigue dos pasos. Primero, una paginación para poder seleccionar algún grupo de texto. Los puntos de corte pueden ser finales de párrafos, párrafos de diálogos, un cambio del estilo, el final de una exposición, etc. El segundo paso es buscar entre estos recuerdos esenciales aquellos que pueden encajar con el momento concreto de generación de conversación en el que estemos. 

El artículo completo y sus detalles técnicos puede encontrarse en este enlace.