MetricalARGS: modelo para evaluar poemas métricos digitales

 

El artículo MetricalARGS: A Taxonomy for Studying Metrical Poetry with LLMs, de  Kranti y Vajjala, propone una nueva forma de evaluar las capacidades de los modelos de lenguaje (LLM) mediante un desafío mucho más complejo que las tareas habituales de generación de texto. Los autores parten de una observación importante: gran parte de la investigación en procesamiento del lenguaje natural relacionada con poesía se ha centrado en generar poemas o resumirlos, pero ha prestado poca atención a las tradiciones poéticas que siguen reglas métricas estrictas. Estas tradiciones, presentes en numerosas lenguas, obligan a respetar patrones de sílabas, sonidos y estructuras formales, por lo que constituyen una excelente prueba para medir hasta qué punto un modelo comprende realmente el lenguaje y es capaz de seguir restricciones complejas.

Con esta idea, los autores presentan MetricalARGS, una taxonomía diseñada específicamente para analizar cómo se comportan los grandes modelos de lenguaje cuando trabajan con poesía métrica. El nombre proviene de cuatro grandes dimensiones que organizan las tareas propuestas: Analysis, Retrieval, Generation y Support. La primera dimensión, análisis, incluye actividades en las que el modelo debe examinar un poema e identificar propiedades métricas, patrones o características estructurales. La segunda, recuperación, evalúa la capacidad de localizar información relevante relacionada con formas poéticas, reglas o ejemplos. La tercera, generación, estudia si el modelo puede producir nuevos textos respetando requisitos métricos específicos. Finalmente, la categoría de soporte reúne tareas auxiliares destinadas a ayudar a lectores, escritores o investigadores a comprender y trabajar con poesía métrica.

Uno de los aspectos más interesantes del trabajo es que no considera la poesía únicamente como una actividad artística, sino también como una herramienta para estudiar el razonamiento de los modelos. A diferencia de una conversación cotidiana, donde existen múltiples respuestas aceptables, la poesía métrica exige cumplir reglas precisas. Un modelo puede escribir un texto aparentemente coherente, pero aun así fracasar si rompe las restricciones de métrica o ritmo. Esto permite evaluar no solo la fluidez lingüística, sino también la capacidad de planificación, seguimiento de instrucciones y comprensión de estructuras abstractas. Según los autores, este tipo de desafíos puede revelar limitaciones que permanecen ocultas en pruebas más convencionales.

Para demostrar la utilidad de la taxonomía, el estudio utiliza como caso de ejemplo la poesía métrica en lengua telugu. Esta elección resulta relevante porque muchas investigaciones sobre inteligencia artificial se concentran en inglés, mientras que las tradiciones poéticas de otras lenguas suelen recibir mucha menos atención. El trabajo muestra cómo las categorías de MetricalARGS pueden adaptarse a una tradición literaria concreta y servir para construir conjuntos de evaluación especializados. De este modo, el proyecto también contribuye a ampliar la diversidad lingüística en la investigación sobre modelos de lenguaje.

El conjunto de datos asociado incluye 169 preguntas abiertas distribuidas entre las distintas categorías. Además, incorpora evaluaciones realizadas tanto por modelos automáticos como por hablantes nativos humanos. Esta combinación es especialmente valiosa porque la calidad de la poesía suele ser difícil de medir únicamente mediante métricas automáticas. Al comparar las valoraciones humanas con las generadas por sistemas de evaluación basados en IA, los investigadores pueden estudiar hasta qué punto los jueces automáticos son fiables para analizar tareas literarias complejas.

Otro aporte importante del artículo es su discusión sobre los desafíos metodológicos. Los autores señalan que muchas tareas relacionadas con poesía métrica no encajan perfectamente en las categorías tradicionales del procesamiento del lenguaje natural. Por ello, exploran cuestiones como la construcción de conjuntos de datos adecuados, la definición de criterios de evaluación y la adaptación de métricas existentes. También argumentan que la poesía métrica puede convertirse en un banco de pruebas útil para futuras investigaciones sobre razonamiento lingüístico avanzado.

En definitiva, el trabajo defiende que la poesía métrica representa un entorno especialmente exigente para los modelos de lenguaje. Al requerir simultáneamente creatividad, conocimiento lingüístico, memoria de reglas y capacidad de razonamiento estructurado, estas tareas permiten observar con mayor claridad tanto las fortalezas como las debilidades de los sistemas actuales.