LLM, Agentes y Seguridad

 

El artículo científico titulado When Agents Remember Too Much: Memory Poisoning Attacks on Large Language Model Agents, desarrollado por los investigadores George Torres, Sharad Shrestha y Satyajayant Misra de la Universidad Estatal de Nuevo México, aborda la interferencia aparente entre la memoria a largo plazo en agentes basados en modelos de lenguaje de gran tamaño (LLM) y las vulnerabilidades de seguridad que esta arquitectura introduce. 

En la actualidad, los agentes de inteligencia artificial han evolucionado de ser planificadores de acciones específicas a convertirse en asistentes personales integrados. Estos asistentes combinan capacidades de lenguaje natural y uso de herramientas interactivas —tales como enviar correos electrónicos, gestionar calendarios o interactuar con APIs externas— con capas de memoria persistente que almacenan hechos, preferencias y antecedentes del usuario a lo largo del tiempo. Si bien la incorporación de esta memoria persistente resuelve el problema de la limitación del tamaño de las ventanas de contexto y evita la necesidad de procesar historiales masivos en cada interacción, simultáneamente crea un canal no controlado e inseguro que permite la entrada y retención de información no confiable.

El problema fundamental que plantean los autores radica en la falta de criterios de control de la memoria, orientados a la seguridad en los sistemas de agentes con memoria a largo plazo. Los agentes asistentes personales interactúan constantemente con fuentes de información externas que son intrínsecamente no confiables, como ocurre con los correos electrónicos entrantes, invitaciones de calendario o documentos compartidos. Dado que los subsistemas actuales de memoria tienden a registrar de manera indiscriminada casi toda la información que procesan, se abre una vía de ataque crítica para el ataque indirecto a la memoria. Un atacante no necesita tener acceso directo al sistema, ni a las credenciales del usuario, ni a las API internas del agente; le basta con enviar un mensaje diseñado maliciosamente a través de un canal rutinario como el correo electrónico. Cuando el agente procesa dicho mensaje, la información maliciosa o engañosa se almacena en su base de datos de memoria persistente. Posteriormente, cuando el usuario legítimo realiza una consulta benigna pero relacionada sintáctica o semánticamente con dicha información, el agente recupera el fragmento envenenado y lo inserta en su contexto de razonamiento, desviando su comportamiento hacia los objetivos del atacante, tales como la filtración de datos confidenciales, la alteración de la integridad del sistema o la ejecución de acciones no autorizadas.

Frente a esta problemática, la hipótesis principal que evalúan los autores sostiene que los agentes actuales impulsados por memoria persistente son altamente vulnerables a ataques de envenenamiento indirecto de memoria a través de herramientas de entrada estándar, debido a la ausencia de un mecanismos de filtrado y de control de admisión a la memoria. Asimismo, postulan que es posible diseñar e implementar un marco de defensa modular para la arquitectura del agente que pueda filtrar eficazmente estos contenidos maliciosos tanto en la fase de lectura como en la de recuperación, reduciendo drásticamente el éxito de los ataques maliciosos sin degradar de forma significativa la utilidad operativa ni el rendimiento general del asistente en sus tareas cotidianas.

Para poner a prueba estas hipótesis, los investigadores desarrollaron una metodología experimental que abarca tanto la formulación de una nueva vector de ataque denominado GhostWriter como el diseño de un sistema de mitigación coordinado llamado Agentic Memory Sentry (AM-Sentry). El ataque GhostWriter opera bajo un protocolo estricto de dos fases: la fase de inyección y la fase de activación. En la fase de inyección, el atacante construye una carga útil maliciosa empaquetada dentro de un mensaje en apariencia legítimo, optimizando su similitud semántica mediante técnicas de clustering e incrustación de texto en un entorno de caja negra para garantizar que coincida con futuras consultas benignas del usuario. Una vez enviada al buzón del usuario, la función de ingestión del agente transforma el mensaje en un registro de memoria y lo almacena. En la fase de activación, cuando el usuario formula una petición habitual, el sistema de recuperación vectorial del agente extrae el registro envenenado, incorporándolo al contexto operativo y haciendo que la ejecución del modelo se desvíe del propósito original del usuario.

Los autores evaluaron GhostWriter contra cinco arquitecturas de agentes representativas del estado del arte (A-Mem, Mem0, ExpeL, Letta y MemoryOS) adaptadas a un entorno común de asistente personal de correo y calendario, integrando cuatro modelos de lenguaje principales: ChatGPT (GPT-4o-mini), DeepSeek (DeepSeek-V3), Gemini (Gemini-1.5-Flash) y Llama (Llama 3.1 8B). La metodología incluyó un conjunto de 16 escenarios de ataque reales divididos en cuatro categorías de impacto: corrupción de integridad, filtración de información sensible, infiltración encubierta y escalada de alcance. Adicionalmente, crearon un marco de prueba basado en una semana laboral simulada de 32 eventos evolutivos para medir la capacidad de recuperación y la precisión en el uso de herramientas de los agentes bajo distintas condiciones.

AM-Sentry es un marco defensivo de dos etapas compuesto por una política de admisión de memoria e inspección previa al almacenamiento, y una pantalla de filtrado en la fase de recuperación. La política de admisión se evaluó en tres niveles de restricción progresiva (S1, S2 y S3), donde S1 aplica un juicio general de utilidad futura, S2 evalúa métricas estructuradas como origen, confianza, tipo y utilidad, y S3 aplica una lista de verificación rigurosa de siete puntos supervisada por un segundo elemento LLM para detectar intentos de inyección de código o manipulación. La pantalla de recuperación (R) actúa filtrando las memorias ya almacenadas antes de que ingresen al contexto del agente, evaluando criterios de relevancia, supresión de instrucciones maliciosas, detección de contradicciones y confianza en la fuente.

Las conclusiones del estudio revelan que el ataque GhostWriter alcanza tasas de inyección casi universales de aproximadamente el 98% en todas las arquitecturas y modelos evaluados, junto con una tasa media de activación del 60% tras la recuperación de la memoria contaminada. Se observó que los agentes que almacenan texto de forma literal o resúmenes directos resultan ser los más vulnerables, mientras que arquitecturas basadas en trayectorias de experiencia previa, como ExpeL, mostraron una vulnerabilidad menor frente a GhostWriter pero sufrieron una vulnerabilidad significativamente mayor ante ataques directos de inyección de prompts. En segundo lugar, la evaluación de las defensas demostró que la combinación de la política de admisión más estricta (S3) con la pantalla de recuperación (R) logra neutralizar casi por completo la amenaza, reduciendo la tasa de éxito del ataque GhostWriter a menos del 12% en la mayoría de los modelos de lenguaje evaluados. Finalmente, los experimentos de rendimiento confirmaron que esta drástica reducción en la tasa de éxito de los ataques se logra conservando la utilidad operativa y la precisión funcional del agente, demostrando que la gobernanza de memoria enfocada en la seguridad es viable y esencial para el despliegue seguro de asistentes personales basados en inteligencia artificial.

El artículo completo puede leerse desde este enlace.