Next-Concept Modeling

 

Hermann Kumbong, de la Universidad de Stanford, y otros miembros de su equipo han publicado en ArXiv el artículo Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation, que analiza una nueva manera de generar texto que puede ser más eficiente que los LLMs convencionales. Responde al acrónimo NCM.

Los modelos de lenguaje tradicionales y más usados generan una palabra cada vez, un token cada vez, sucesivamente en función de lo escrito hasta ese momento. Reciben el nombre de autorregresivos (AR). Este método garantiza la coherencia causal pero es inherentemente lento. Su hay L tokens, hay L ciclos. Cada paso que calcula un token debe esperar al anterior y debe ser generado cada vez pasando por todas las capas de la red neuronal y los miles de millones de nodos. Es más, pasa también por todos los tokens internos auxiliares, "de razonamiento", haciendo la cola de cálculas aún más larga. Además, el AR no permite una revisión global de lo generado previamente. Es un procesamiento en serie.

Por su parte, los modelos de difusión (DLM) abordan la generación de la frase de toda ella a la vez. Comienzan por probar con una frase completa, por ejemplo de unos 100.000 tokens, que, tomada así casi al azar, será probablemente puro ruido. Pero, porsteriormente, en sucesivas pasadas, va cambiando, retocando o reordenando ese conjunto de palabras, de varias palabras en varias palabras, hasta dar con una frase plausible, una secuencia de tokens que tenga sentido. Por decirlo así, en un procesamiento paralelo.

Los modelos de lenguaje de difusión permiten una generación más rápida que los modelos autorregresivos (AR), pero sufren ciertas limitaciones. Así, la calidad se degrada rápidamente al reducir el número de pasos de muestreo; procesan la secuencia completa a cada paso, lo que limita la velocidad y dificulta el uso de los cachés; y , por último, requieren muchas y costosas fases de entrenamiento con numerosos ciclos de cálculo sobre los datos. 

NCM, en cambio, genera una jerarquía de “conceptos” discretos en K ≪ L pasos, prediciendo en paralelo todos los códigos de cada nivel. Esto permite un paralelismo real y un menor coste de cómputo. Esa predicción elige más detalles a media que pasamos de nivel.

La hipótesis central de este nuevo estudio es que una representación jerárquica de códigos discretos (coarse-to-fine), generada en paralelo, capa a capa, puede superar estas limitaciones. Al codificar el texto en una jerarquía de códigos residuales multiescala y generarlos secuencialmente desde el poco detalle hasta el matiz con un transformer que predice todos los códigos de un nivel en paralelo (este proceso queda condicionado a la reconstrucción acumulada, poco a poco, de los niveles anteriores), se logra alcanzar alta calidad y diversidad en muchos menos ciclos, lo que implica un menor coste por paso en los niveles tempranos (más cortos) y menor presupuesto de entrenamiento, En definitiva, el concepto implica generar de golpe toda la respuesta de manera tosca y poco literaria para, a continuación, ir ajustando el texto y aumentando su calidad en pasadas posteriores. En los niveles iniciales, de generación tosca, se captura la estructura global. Los posteriores paso añaden detalle y corrigen errores. 

NCM consta de dos etapas. Primero se entrena un tokenizer  multiescala que codifica el texto en K niveles de códigos discretos, desde representaciones cortas y burdas, hasta otras más largas y matizadas. Luego se detiene el tokenizer y se entrena un transformer que predice los códigos nivel a nivel. Durante el entrenamiento se utiliza un mecanismo de atención del tipo "bloque-diagonal"  y se valora la pérdida de entropía de todos los niveles en un solo paso . En este tipo de generación, los niveles se producen secuencialmente desde lo tosco hasta lo matizado. Finalmente, el decodificador del tokenizer reconstruye los tokens.  

Los resultados  de la generación son interesantes aunque no pueda concluirse que son signficativamente mejores que los LLMs en todos los casos.En modelos de ~100M de parámetros, NCM iguala o supera a los mejores modelos de difusión y flujo. En cuanto a la eficiencia en el entrenamiento, el resultados es mejor porque se precisan unas 4 veces menos tokens que con los otros sistemas.  

El artículo completo puede leerse en este enlace.