¿Pueden los modelos de lenguaje escribir buenas narraciones?

 

El artículo técnico Can LLMs Generate Good Stories? Insights and Challenges from a Narrative Planning Perspective, escrito por Yi Wang (Autodesk Research) y Max Kreminski (Midjourney), aborda la cuestión de hasta qué punto los grandes modelos de lenguaje (LLMs) son capaces de generar historias de alta calidad. 

El problema central que se analiza este trabajo es por qué, a pesar del amplio uso creciente de LLMs para la generación de historias en contextos creativos y de videojuegos, las evaluaciones automáticas siguen evaluando sólo aspectos superficiales como similitudes léxicas o semánticas y por qué las  evaluaciones de lectores humanos son escasas e inconsistentes. Al cabo, parece que debían ser los lectores humanos los que valoraran la calidad, impacto narrativo y emociones creadas por un relato, sea cual sea su creador.

Los autores proponen evaluar las capacidades de los LLMs a través de un enfoque de planificación narrativa simbólica, que formalice criterios narratológicos concretos: la solidez causal (secuencias narrarivas de acciones lógicamente coherentes para alcanzar un objetivo), la intencionalidad de los personajes (acciones motivadas de forma creíble y consistentes con sus metas) y la presencia de un  conflicto dramático (planes de personajes que chocan o fracasan de manera narrativa interesante).

La metodología consiste en utilizar tres dominios clásicos de la literatura extendidos pero modificados para ser parametrizados y poder crear un banco de pruebas automatizable. El primer dominio es el que denominan Secret Agent, centrado en la planificación causal: un agente debe desplazarse por un mapa de cuadrícula, obtener objetos y superar obstáculos para alcanzar un objetivo final. El segundo es el que llaman Aladdin, orientado a la intencionalidad y por el cual se  requiere que la narración genere planes en los que las acciones de los personajes (incluido el traspaso de intenciones u objetivos entre ellos) respeten marcos de compromiso y motivaciones válidas, "logrando que el rey se case con la princesa y se elimine el genio de la lámpara". Por fin, el tercero es el llamado Western, enfocado a evaluar el conflicto: múltiples aventureros buscan medicinas en un escenario de recursos limitados, de modo que los planes individuales colisionen de forma dramática. 

Los citados problemas se codifican con Answer Set Programming (ASP) mediante el lenguaje de acciones BC+, lo que permite la generación automática de instancias, la simulación de transiciones causales, la validación de planes y la provisión de retroalimentación externa. Así, los LLMs se evalúan en dos modos: prompting de una sola vez (generación completa del plan) y calibración externa (generación paso a paso). 

Se han evaluado modelos como GPT-3.5, GPT-4o, o1, o1-mini, Claude-3.5 y Claude-3.7, midiendo para cada uno de ellos las tasas de éxito, tokens consumidos y tiempo de ejecución sobre decenas de instancias por configuración.

Los experimentos revelan que los modelos de nivel GPT-4 pueden producir historias causalmente sólidas en escalas pequeñas o moderadas (mapas de hasta 16×16 en Secret Agent), especialmente cuando se emplea una calibración externa adicional, aunque el rendimiento degrada al aumentar el tamaño porque los planes omiten pasos u oscilan entre objetivos. Por su parte, la planificación intencional y con conflicto resulta considerablemente más difícil. Solo modelos de razonamiento avanzados entrenados con aprendizaje por refuerzo (como o1 y, en menor medida, Claude-3.7) alcanzan tasas de éxito razonables (alrededor del 50 % o superiores en los ejemplos originales), mientras que los demás modelos fallan de forma sistemática. 

Los fallos típicos en Aladdin consisten en planes causalmente correctos pero con acciones carentes de intención válida o motivaciones externas no justificadas; en Western, por su parte, los modelos adolecen de problemas para rastrear planes fallidos y forzar el surgimiento del conflicto. Además, se observan déficits de los modelos como la tendencia a encontrar caminos cortos cuando la escala lo permite, y se destaca el elevado coste computacional de la calibración externa.

Las conclusiones principales son que los LLMs actuales pueden generar narrativas causalmente coherentes dentro de límites de escala relativamente modestos, pero todavía carecen de la capacidad robusta para manejar la intencionalidad de los personajes y el conflicto dramático sin modelos especializados en razonamiento complejo. 

El trabajo aporta una medida más objetiva de la calidad narrativa y señala desafíos prácticos para su aplicación en entornos de juegos, donde se requieren consistencia, controlabilidad y eficiencia. Los autores subrayan el valor perdurable de los conceptos de la narratología computacional incluso en la era de los LLMs,  y recomiendan el desarrollo de métodos automáticos para construir especificaciones de dominios narrativos como vía para reducir el coste de ingeniería del enfoque simbólico.  

El artículo puede leerse completamente en este enlace.