Interacción Basada en Bocetos para Narrativas Interactivas

 

Ya hace unos años, se publicó el artículo Sketch-Based Interaction for Planning-Based Interactive Storytelling,  elaborado por un equipo de investigadores liderado por Edirlei Soares de Lima, junto a Felipe João Gheno y Ana Viseu, vinculados en ese momento a la Facultad de Diseño, Tecnología y Comunicación (IADE) de la Universidade Europeia en Lisboa. Volvemos sobre dicho estudio ya que el trabajo se sitúa en la intersección de la Inteligencia Artificial (IA), la Interacción Persona-Ordenador (HCI) y la narrativa digital, proponiendo una evolución en la forma en que los usuarios participan en mundos virtuales. Fue presentando en el XIX Brazilian Symposium on Computer Games and Digital Entertainment (SBGames del año 2020).

A pesar del tiempo transcurrido, estimo que sigue teniendo validez a la hora de pensar la literatura digital interactiva.  

El problema central que abordan los autores es la limitación de los métodos tradicionales de interacción en las narrativas interactivas (IN). Históricamente, la mayoría de los sistemas de narración digital —como los videojuegos de aventura o las novelas visuales— restringen la participación del usuario a menús de opciones predefinidas o clics en elementos específicos de la interfaz. Esta "rigidez" limita la libertad creativa del usuario y reduce la inmersión en la trama, ya que el jugador no puede introducir elementos externos o ideas propias de manera fluida en el flujo de la historia.

Los autores identifican que, aunque el dibujo ha sido una herramienta fundamental de comunicación humana durante milenios, su integración en sistemas de narración digital automatizada ha sido escasa debido a la complejidad técnica de reconocer e interpretar bocetos (sketches) a mano alzada en tiempo real para influir en una trama lógica y coherente.

Así, el objetivo principal de la investigación es proponer y evaluar un nuevo método de interacción basado en bocetos para sistemas de narrativa interactiva que utilizan planificación automatizada (planning-based storytelling). 

Los objetivos específicos incluyen:

* Integración Tecnológica: Desarrollar un sistema capaz de reconocer dibujos hechos a mano en dispositivos táctiles (smartphones o tablets) y transformarlos instantáneamente en objetos virtuales dentro de un mundo narrativo.

* Generación de Tramas Dinámicas: Utilizar algoritmos de planificación para que la introducción de estos nuevos objetos altere el curso de la historia de forma lógica.

^Evaluación de Rendimiento: Medir la precisión de un modelo de Redes Neuronales Convolucionales (CNN) en el reconocimiento de bocetos bajo diferentes niveles de complejidad (número de clases de objetos).

La metodología empleada combina el desarrollo de software experimental con el entrenamiento de modelos de aprendizaje profundo (Deep Learning). El sistema propuesto se divide en tres componentes críticos:

* Interfaz de Dibujo y Reconocimiento: Los autores implementaron una red neuronal basada en la arquitectura Sketch-a-Net, diseñada específicamente para manejar la naturaleza abstracta y simplificada de los dibujos a mano. Para el entrenamiento, utilizaron el conjunto de datos Quick, Draw! de Google, que contiene millones de dibujos clasificados. El sistema procesa el dibujo del usuario en tiempo real mientras este desliza el dedo o un lápiz óptico por la pantalla.

* Motor Narrativo basado en Planificación (STRIPS): El núcleo de la historia se gestiona mediante un planificador automatizado. En este modelo, el "mundo" de la historia se define por estados (ej. "el dragón tiene hambre") y acciones posibles. Cuando el usuario dibuja un objeto (por ejemplo, una espada o un trozo de carne), el sistema añade este objeto al estado actual del mundo. El planificador recalcula entonces las acciones de los personajes para alcanzar un objetivo narrativo, integrando el nuevo objeto en la trama.

* Visualización en Unity: El prototipo se desarrolló utilizando el motor de juegos Unity. El flujo de trabajo es circular: el usuario observa la escena, decide intervenir dibujando un objeto, el modelo de IA reconoce el dibujo y el motor gráfico instancia el modelo 3D correspondiente en la escena para que los agentes inteligentes (personajes) interactúen con él. 

Los resultados presentados son altamente significativos para el campo de la computación creativa. Se realizaron pruebas de precisión del modelo de reconocimiento de bocetos con resultados variables según el alcance:

* Alta Precisión en Vocabularios Pequeños: Con un conjunto de 14 clases de objetos (suficiente para una narrativa temática específica), el sistema alcanzó una precisión del 95.1%. Esto demuestra que para juegos o aplicaciones educativas con un tema acotado, el sistema es extremadamente fiable.

* Escalabilidad: Al expandir el sistema a 172 clases de objetos, la precisión se mantuvo en un sólido 87.4%, y con un vocabulario masivo de 345 clases, la precisión fue del 71.6%.

Las conclusiones del artículo destacan que la interacción basada en bocetos no solo es técnicamente viable, sino que ofrece una forma de "agencia creativa" que otros métodos no logran. Los autores concluyen que su sistema permite una transición fluida entre la imaginación del usuario y la lógica del mundo virtual. El uso de bocetos reduce la barrera de entrada para usuarios no técnicos y fomenta una conexión más profunda con la historia. 

Puede leerse completo desde este enlace.