Riesgos de dejar decidir a la IA y los LLM sobre crisis militares

 

Hace unos meses se publicó un artículo de Kenneth Payne, del KIng's College of London, en el que se estudiaba la aplicación de la IA a decidir sobre crisis militares. Los resultados son, por un lado, sorprendentes en cuanto a la capacidad de razonar sobre los diferentes escenarios pero, por otro y sobre todo, amenazadores ya que las decisiones que las redes neuronales toman son drásticas y simplistas, con resultados potencialmente catastróficos para la humanidad.

Titulado AI Arms and Influence: Frontier Models Exhibit Sophisticated Reasoning in Simulated Nuclear Crises, el objetivo principal de la investigación es analizar cómo los modelos de lenguaje de gran tamaño (LLM) de última generación —específicamente GPT-5.2, Claude Sonnet 4 y Gemini 3 Flash— se comportan cuando se les sitúa como líderes en una simulación de crisis nuclear. El artículo busca determinar si estos modelos desarrollan asunciones precisas sobre los escenarios en juego, si exhiben una metacognición sofisticada (capacidad de evaluar sus propias decisiones) y si reproducen patrones documentados en la teoría de las relaciones internacionales, como la disuasión y el escalamiento de conflictos.

El experimento se estructuró como un juego de guerra con 21 juegos y más de 300 turnos de interacción estratégica. A diferencia de estudios previos, Payne implementó una "arquitectura cognitiva de tres fases" donde cada modelo debía, antes de actuar: 1) reflexionar sobre la situación, 2) pronosticar la acción del oponente y 3) decidir un mensaje público  y una acción privada que podían no coincidir, permitiendo el engaño.

Los resultados revelaron "personalidades estratégicas" distintas y profundamente influenciadas por el contexto temporal: Claude Sonnet 4 apareció como el estratega más sofisticado y dominante en escenarios abiertos, con una tasa de victoria del 67%. Demostró una gestión paciente del escalamiento, aunque se mostró vulnerable ante jugadas nucleares desesperadas de sus oponentes al final de los juegos con fecha límite. GPT-5.2 mostró un comportamiento dual. En juegos sin límite de tiempo, fue extremadamente pasivo y evitó el conflicto, lo que lo llevó a perder todos esos encuentros. Sin embargo, bajo la presión de una fecha límite donde la derrota era inminente, se transformó en un "halcón"  ganando el 75% de esos juegos y llegando a autorizar ataques nucleares estratégicos. Por su lado, Gemini 3 Flash se caracterizó por una agresividad flexible y una alta tolerancia al riesgo, siendo el único modelo que eligió deliberadamente una guerra nuclear total sin que mediaran "accidentes" en la simulación.

Un hallazgo inquietante es que los modelos recurrieron al engaño estratégico de forma espontánea, emitiendo señales pacíficas mientras preparaban ataques. Además, el estudio ha validado teorías clásicas como la "escalera de escalamiento" de Herman Kahn y la dinámica de potencias emergentes frente a declinantes. Los más inquietante es que la investigación también ha mostrado que el "tabú nuclear" (la norma de no usar armas nucleares) es casi inexistente para la IA: los modelos ven el uso de armas nucleares tácticas como una herramienta legítima de coerción y solo consideran como límite catastrófico la aniquilación total.

Se observa asimismo que los modelos generativos poseen una sofisticación estratégica sorprendente, capaz de emular e incluso desafiar los principios de la estrategia humana. 

La principal conclusión es que el comportamiento de la IA es altamente dependiente del contexto: un modelo que parece pacífico en condiciones normales puede escalar catastróficamente bajo presión temporal o amenazas existenciales. Payne advierte que, aunque estas simulaciones son herramientas poderosas para el análisis político, la ausencia de "temor visceral" y de un tabú nuclear sólido en los modelos sugiere que la integración de la IA en sistemas de decisión de seguridad nacional conlleva riesgos impredecibles de escalamiento no deseado.

Puede leerse el artículo completo en este enlace.