26/6/24

Between Tongues/Entre lenguas

 


Between Tongues/Entre lenguas, de Vinicius Marquet, es un juego combinatorio en el que se forman frases - en inglés y en español- combinando las palabras que significan "dos" en diversos idiomas y repitiendo la misma frase con esas variaciones de idiomas, diciendo siempre que dos no son dos sino están presentes dos.

Se combinan 48 idiomas distintos.

Está programado en Javascript.

Puede verse en este enlace.



22/6/24

El alfabeto de los cachalotes

 


Aunque esta entrada poco tiene que ver con la literatura digital, sí está relacionada con el lenguaje y, dejando atrás todo homocentrismo, con el lenguaje de otras especies, en particular de los cachalotes.

Desde hace muchas décadas se conocen los cantos de los cetáceos, desde los hermosos sonidos de las ballenas hasta los sonidos similares a chasquidos de los cachalotes. El sonido se transmite mejor por el agua que por el aire pero, además, las particulares frecuencias utilizadas por estos animales hacen que puedan escucharse a grandísimas distancias. Hay pocas dudas de que son usado para comunicarse entre los individuos de cada especie pero nunca se ha podido demostrar si son simples llamadas de atención o códigos de estímulos preprogramados en la especie o si, por el contario, constituyen un lenguaje en toda regla. Se conoce relativamente bien la música de los mensajes pero no tenemos idea alguna de la letra de tales mensajes.

Es un misterio, también, cómo producen los sonidos ya que no disponen de cuerdas vocales por lo que debe ser una combinación de movimientos de sus laringes y control de las emisiones de aire.

Los sonidos que producen los cachalotes son como clicks o chirridos que se emiten intermitentemente. ¿Puede ser una especie de código morse? ¿Los clicks pueden constituir un alfabeto para nosotros desconocido que permite transmitir mensajes complejos? 

En un estudio publicado hace unas semanas en Nature Communications, un grupo de investigadores han estudiado la comunicación de los cachalotes con un enfoque novedoso que parece indicar que, sí, los cachalotes tienen un alfabeto. Evidentemente, de confirmarse este hecho, todo indicaría que las ballenas tendrían otro. 

Las vocalizaciones de los cachalotes generan más de 150 patrones de sonidos repetibles que se denominan como codas, atendiendo al concepto musical. Es estudio ha analizado las correlaciones entres estas codas atendiendo a su ritmo, su tempo y la duración de los sonidos emitidos. Tras grabar casi 10.000 cantos de cachalotes utilizando sónares marinos en las zonas pobladas por estos mamíferos acuáticos, los investigadores han podido determinar que las comunicaciones se realizan combinando codas y alterándolas en duración, ritmo y velocidad, aplicando lo que en música podría ser un "rubato" o un "ornamento",  para generar mensajes largos y complejos a todas luces distintos e individuales que son comprendidos, repetidos y/o contestados por otros individuos. Con estas modificaciones de las codas originales, las combinaciones posibles alcanzan miles de mensajes posibles diferente. 

Parece constatado que algunos subconjuntos de estas codas definen el "nombre" del emisor del mensaje, de modo que la manada sabe quién habla.

 Además, han determinado que cada grupo de cachalotes tienen codas diferentes lo que da a entender que, al igual que en el ser humano, podría haber distintos idiomas y distintas culturas. 

La técnica de análisis empleada es de denominada trama de intercambio

El artículo científico puede leerse desde este enlace.

¿Podremos algún día crear un traductor ballenas-cachalotes-seres humanos?

En este vídeo puede escucharse el canto de las ballenas jorobadas


y en este otro, el de los cachalotes:






NarraScope 2024

 


Desde hoy y hasta el próximo domingo se celebra la edición 2024 de NarraScope, un evento donde se analiza la ficción interactiva, la narrativa hipertextual, juegos narrativos y, en general, los desarrollos y avances que cada años de producen en literatura digital. Hay conferencias, mesas redondas y talleres y algunas charlas se dieron ya a primeros de mes.

El programa es:

Viernes, 21

* Taller Creating a More Dynamic Narrative World: an Inform Workshop for Post-Beginners, por  Judith Pintar

* Teachers Talking Turkey about Teaching I, por Chris Klimas, Katryna Starks

* Game Jam Debrief

* Learn the Basics of Writing Branching Narratives with Yarn Spinner, por Paris Buttfield-Addison

* Relikpunk Oddities, por Rainer Wren Dalton, Laya Liebeseller, E. L. Meszaros y Mairi Nolan 

* Mesa redonda, Birds-of-a-Feather sessions

* Sala de exposición de diversas obras. 

 Sábado, 22

* Spatial Tales and Highland Songs, por Nat Clayton

* Interactive Fiction as Embodied Storytelling: Why We Need to Think about Immersive Player Types, por Judith Pintar

* Interactive Fiction in the Library, por Brendan Desilets y Colin Post

* It’s All in the Cards: Tarot, Pattern Language and Player Agency, por Joseph Sutton

* Make the Player Do the Writing, por Ziba Scott

* Using IF Tools for Introductory Astrophysics Tutorials, por Michael Stage

* AI is Obsolete: Generative Glitch Narratives, por Nilson Carroll

* Random Testing for Narrative Game Autumn, por Chen

* Telling Stories Through Translation: The Trials and Tribulations of Using Language Translation as a Game Mechanic, por Jet Vellinga

* Architectural Storytelling: Worldbuilding through Time, por Katryna Starks

* Strong Characterization in Short Games, por Tabitha O’Connell

* My Experience as a First Time Visual Novel Writer, por Valencia Coleman

* Refracting Freytag’s Pyramid: Aleatory Elements and Interactive Fiction to Teach Narrative Design, por Trent Hergenrader

* The End of the Day: Turning a Solo RPG into an IRL Public Art Installation, por April Soetarman

* How Belgian Reality TV Made Me a Better Game Designer, por Sophie Mallinson

* Inviting the Player to Practice Positive Self-Talk, por Nicholas O’Brien

* Rocks and Why They Matter, por Hexe Fey

* Everything is Storytelling – But is it Coherent?, por Gary Chadwick

* The Art of Ludic Adaptation: How to Make Games Out of Books, Movies, or Almost Anything, por Tim Bryant

* Building Captivating Character Psychology using the Enneagram, por David Kuelz

* The Time Travel Agency’s DATTOPIAS, por Jocelyn Ibarra

Domingo, 23

* Big Story, Tiny Engine: Hacking Bitsy to Tell Rich, Puzzle-Driven Stories, por Nat Mesnar y Elana Bell Bogdan

* The Art of the Shitty First Draft, por Rick Stemm

* Choose Your Own Ed-venture: Multi-User Dungeons and Computer Science Education, por Douglas Luman

* First Person Talkers: Simulating Conversation, por Geoffrey Golden

* Utsuge and Nakige in the Dating Sim Genre: Why is There So Much Death in my Dating Games?, por Mar Ferreri

* Game Arts Education: Bridging Narratology and Ludology, por Shaun Foster

* Genre As A Lens: A Holistic Genre-Driven Approach to Game Narrative Analysis, por Hélène Lupa

* Between the Story and the World: Better Interactive Worldbuilding, por Ben Schneider

* Teaching IF: or How to Talk Into a Classroom with a Bunch of Red Balloons and Walk Out With a Story, por Deena Larsen

* Building Empathy Through Interactive Fiction in the Video Game Peaceland: Choose Your Memory, por M. Kristana Textor, Josh Stead-Dorval y Marcia Byron Hartwell

* Let’s Keep Talking About Collecting Narrative Games in Libraries, por Colin Post

* Germinating Playwriting from The Quiet Year, por Will Lowry

* Teaching About Mental Illness through Play, por Tim Rattray

* It’s Still Too Complicated: Developing a Storytelling Game System for Low-Resource Classrooms, por Scott Nicholson

* A Game Design Analysis of Improv Theater, por Matthew Vimislik

* The IFTF Grants Program, por Vincent Bondy

* Hope in the Transcendental, por Alexander Swords


más información en este enlace.



21/6/24

Onyx BOOX Go Color 7

 


Otro lector electrónico en color de la casa Onyx que va completando un portafolio de lectores color realmente amplio. En este caso se trata del Onyx BOOX Go Color 7. Sus características principales son:

- Pantalla de 7" de e-ink 

- Display Carta 1200 Color de E-ink

- Tecnología Kaleido 3 con hasta 4096 colores.

- Resolución de 1680 x 1264 píxeles en ByN, y de 1240 x 940 píxeles en color.

- 300 dpi en ByN, y 150 dpi en color.

- Microprocesador de 8 núcleos a 2.4 Ghz

-. Memoria central de 4 Gby.

- 64Gb de memoria UFS 2.2

- Batería de 2300 mAh

- Lector micro SD

- Entrada USB-C

- Altavoz y micrófono.

- WIFI

- Bluetooth 5.0

- Lee ficheros EPUB, PDF, CBR, CBZ, MOBI, AZW3, DOCX, HTML, TXT, PPT, WAV, MP3.

- Sistema operativo Android 12, abierto a aplicaciones de terceros.

- Lámpara frontal para poder leer en la noche.

- Rotación automática de pantalla.

- Entre 200 y 300€ de precio.


Más información en este enlace.



20/6/24

Le silence

 


Le silence, de Louis Ganançay, es un poema en vídeo que tan sólo nos muestra un pasero por la montaña desde los ojos del caminante. Mientras la cámara (la vista del lector) va fijándose en detalles del bosque, se escucha en segundo plano la palabra "silencio" en varios idiomas ya que la experiencia personal solitaria es igual en todo el planeta.

Puede verse desde este enlace.




18/6/24

Figurative Language

 



Figurative Language, de Milton Läufer, es una breve aplicación que transforma un texto puro en una mezcolanza de palabras e iconos, como si alguien estuviera actualizando a una red social móvil lo que quiere decir.

Claro, es más un divertimento que otra cosa pero tiene su interés técnico de programación en el sentido de que hay que discernir las palabras y sustituirlas, o añadir, los iconos correspondientes.

Puede utilizarse desde este enlace.

Está limitado a 1000 caracteres.

Por ejemplo, introduciendo un breve párrafo de Una carta de mujer, de Jacinto Benavente:

 …Nunca sabrás cuánto me cuesta contestar a tu carta. No es que renueves en mí dolorosas memorias; es que al fijarlas para escribirte, caigo en la cuenta de que son memorias de cosas pasadas, cuando mi pensamiento no sabía diferenciar el recuerdo de la esperanza. De un largo amor que vive la vida entera del amor; con sus torpezas y balbuceos de niño, primero; con fogosos arrebatos de joven, después; reflexivo y prudente, más tarde; al cabo, fatigoso, desengañado, para morir como viejo, con cualquier pretexto más que de enfermedad; de este completo amor sólo puede quedarnos el recuerdo que de los muertos queridos nos queda.

... la aplicación devuelve esto:









16/6/24

Femmes, littérature numérique

 


Femmes, littérature numérique, Alma Yazmín Aburto Zepeda, es un pequeño catálogo sobre ocho autoras de literatura digital, en concreto . Miel Pagès, Marianne Teixido, Deena Larsen, Myarusa Parham, Caitlin Fisher, Marine Riguet, Mer Morran, y Amira Hanafi.

Con una maquetación un tanto chillona y kitsch, se muestran las fotografías de las autoras desde las cuales se puede acceder a sus obras y a información de las mismas.

Puede accederse desde este enlace.





Años contigo

 



Quince años has pintado

mi mundo de tus colores

y has llenado de clamores

mi corazón deslumbrado.

Sin buscarte, has estado,

el tiempo ha sido testigo,

toda la vida conmigo.

Yo soy yo porque tú has sido,

y lo poco que a Dios pido

es vivir años contigo.



Amanecer a tu vera,

adormecerme en tus labios,

y reflejarme en tus ojos

siempre, siempre, hasta que muera,

esa es mi plegaria entera.

Sé mi puerto, sé mi abrigo,

ayúdame si decaigo,

de mi barca sé mi vela.

Mi alma tan sólo anhela

gozar más años contigo.



Hoy, quiero darte un gran beso,

cubrir tu piel de caricias,

encenderme en las delicias

de algún achuchón travieso.

Al mundo entero confieso

que tan sólo yo persigo,

escucha lo que te digo,

poder sentarme a tu lado

cada tarde, ensimismado,

compartiendo años contigo.



14/6/24

Vermeer en altísima resolución

 


La firma Hirox se dedica a la microscopía 3D de alta precisión, fabricando microscopios, cámaras, lentes y aplicaciones para diversos sectores industriales y científicos.

Para mostrar la capacidad de sus aparatos, ha realizado una fotografía en alta precisión del célebre cuadro La joven de la Perla, de Vermeer, una de las obras maestras de la pintura. Esta fotografía de 108 gigapíxeles puede ampliarse en un rango enorme de hasta 35x, de modo que podemos ver los más íntimos detalles de la pintura. La obra y una aplicación para manipular su visionado está a disposición del público en este enlace.

Por ejemplo, he aquí tres ampliaciones consecutivas de la perla que da título a la pintura. Podemos llegar a apreciar las pinceladas y las grietas del soporte:




En realidad, lo que se ha hecho es tomar más de 9000 fotos de otras tantas pequeñas zonas de la pintura y, luego, juntarlas para tener la visión completa. Con las cámaras microscópicas de Hirox, cada una de esas fotografías contiene detalles micrométricos. El secreto técnico es haber fabricado un manipulador X-Y capaz de mover el microscopio con una gran precisión para ir tomando las casi diez mil fotografías en un punto exacto, de modo que al juntarlas posteriormente, no haya desviaciones o solapamientos. Aún siendo un manipulador muy rápido capaz de realizar 35 precisos movimientos por minuto, el escaneado total de la obra precisó 14 horas. En ese tiempo de ciclo, la cámara debe moverse, posicionarse, focalizar y grabar la imagen.

Asimismo, esta aplicación nos permite visualizar una zona en 3D, pudiendo girar la imagen en todas las direcciones:


Uno puede pasarse mucho tiempo entusiasmado mientras explora pequeñas partes del cuadro, no sólo como avance técnico sino como posibilidad de escudriñar las entrañas de una obra de arte. Los expertos pueden detectar las capas de pintura, las direcciones de las pinceladas o determinar el color exacto de un punto.

 

13/6/24

LITERATURA DIGITAL, CÓDIGO Y VISUALIDAD: EXPLORACIONES PARA LEER MIRANDO

 


En Julio, pero en 4 fechas aún por concretar, se celebrará el taller on-line titulado LITERATURA DIGITAL, CÓDIGO Y VISUALIDAD: EXPLORACIONES PARA LEER MIRANDO, impartido por la profesora argentina Verónica Gómez.

El seminario está indicado para aquellos interesados en la exploración y análisis de obras de literatura digital como pueden ser escritores, lectores, docentes, programadores, diseñadores, editores. 

Se harán 4 clases con el siguiente programa:

Clase 1:

Políticas/poéticas de la tecnología. Definiciones de literatura digital. Dificultades en torno de la nomenclatura. Bots, publicidad y redes sociales. Tecnopoéticas. Tecnofilia y tecnofobia.

Trabajo de laboratorio: Experimentación con piezas latinoamericanas para un primer

acercamiento: Eugenio Tisselli, Giselle Beiguelman, José Aburto, Belén Gache, Mario Guzmán, Mónica Nepote, entre otros. ¿Cuál es el carácter literario de estas piezas? ¿Qué otros cruces podemos hacer a partir de los lenguajes utilizados?

Clase 2

Lenguas nacionales en jaque. ¿De qué hablamos cuando hablamos de lenguajes expandidos?

Migraciones lingüísticas hacia la intermedialidad. Algoritmos, códigos, programación insumisa. El programador como traductor de una poética. Trabajo de laboratorio: armamos nuestro generador propio de poemas. ¿De quién es la lengua poética? Exploramos piezas elaboradas en lenguas del margen. ¿Cómo pensar la distribución de los lenguajes, los territorios y el poder en piezas digitales?

Clase 3

Máquinas lectoras, máquinas escritoras. ¿Cómo nos vinculamos con la escritura en la era digital? Robots y humanos haciendo literatura. Literaturas experimentales: márgenes, desbordes y reconversiones.

Trabajo de laboratorio: exploración de bots en Twitter y sus remixs. ¿Tienen género los robots que escriben?, ¿Cómo elaborar una poética robótica?

Clase 4

El oxímoron de los archivos obsolescentes. La obsolescencia de la literatura digital: software y hardware en jaque. Remix, basura electrónica y sustratos para la re-creación literaria.

Trabajo de laboratorio: proyectos clave: Antología Litelat vol.1 

Cartografía Digital de Literatura Latinoamericana; 

Atlas de la Literatura Digital Brasileña

¿Cómo se posiciona Latinoamérica ante el desafía de archivar lo evanescente? ¿Cómo se posiciona en el mapa global de iniciativas de este tipo? ¿Cómo crear desde la falta y la precariedad?


Se propondrán una serie de exploraciones por piezas de literatura digital y se debatirán sus puntos fuertes y débiles por los asistentes.

Para más información, puede accederse a este enlace.


12/6/24

Canva: escritura mágica

 


Ya se hablo de la Suite Canva en este enlace, hace algunos años. Ahora, se le ha añadido una nueva prestación, denominada Escritura mágica con la cual pueden generarse textos automáticamente mediante la conexión a una red neuronal generativa.

Al igual que cuando realizamos esta función en ChatGPT o Geminis, se le introduce una pequeña frase indicando qué se desea obtener y la aplicación genera el texto que puede irse ampliando continuamente. 

Los resultados son muy similares a los obtenidos con cualquier otro sistema de este tipo pero, claro está, en este caso esta prestación se integra con las demás de Canvas.

Para probar, he introducido la solicitud de generar un relato que trate sobre una relación inacabada. El resultado es:

En un rincón olvidado de un café parisino, donde las luces cálidas apenas iluminaban las mesas de madera gastadas, se encontraba Clara. Allí solía reunirse con Gabriel, un joven escritor con sueños tan grandes como su corazón. Sus encuentros estaban llenos de risas, debates apasionados y miradas que decían más de lo que las palabras podían expresar. Sin embargo, como todo en la vida, nada es eterno, y lo que parecía ser una historia de amor perfecta quedó inconclusa.

La relación de Clara y Gabriel se vio interrumpida por los caprichos del destino. Gabriel, ansioso por perseguir sus sueños literarios, recibió una oferta de trabajo en una editorial prestigiosa en Nueva York. Clara, por otro lado, estaba atada a París por sus estudios de arte y su familia. La despedida fue amarga y silenciosa, con promesas de cartas y llamadas que nunca llegaron a materializarse. Cada uno siguió su camino, guardando en su interior los recuerdos de aquellos momentos compartidos.

Años después, Clara encontró en una librería un libro firmado por Gabriel. Al abrirlo, descubrió una dedicatoria que le trajo lágrimas a los ojos: "Para Clara, la musa que inspiró cada palabra de esta historia interminable." En ese instante, comprendió que, aunque la relación no tuvo un final propiamente dicho, su amor había quedado inmortalizado en las páginas de aquel libro. La vida continuó, pero la idea de una relación inacabada se convirtió en un eterno susurro en sus corazones, recordándoles que algunas historias no necesitan un final para ser eternamente significativas.



10/6/24

HYpertext & art A Retrospective of Forms

 


Dirigido por Dene Gregar, se celebra del 10 al 14 de este mes, una nueva presentación del evento HYpertext & art A Retrospective of Forms, una exposición en el que se hace un repaso a la historia de la literatura electrónica. La última sesión fue en Septiembre del año pasado.

El lugar de celebración es la McPherson Library University of Victoria Victoria, B.C. en Canadá.

En la exposición se hace un repaso de obras y tecnologías usadas en la creación de literatura digital desde los inicios de los ochenta del año pasado, iniciando el repaso con obras basadas en los pequeños ordenadores personales de hace 40 años, pasando por los desarrollos en web, el hipertexto y las aplicaciones especializadas.

Más información en este enlace.




9/6/24

In the Beginning Was the Prompt

 


In the Beginning Was the Prompt, de Milton Läufer, es un generador de texto en base a gen3 que, partiendo de una frase introducida por el usuario, genera un texto al revés, del final hacia el principio. Una vez generado este primer texto se le puede ordenador continuar y, entonces, la aplicación continúa creando textos hacia atrás en el tiempo y siempre manteniendo el objetivo de llegar al final a la frase que habíamos introducido como prompt.

Con las limitaciones de los modelos LLM, es una interesante aproximación a la generación automática de texto.

Puede utilizarse desde este este enlace.

En este caso, introduje la frase "Beethoven no sabía tocar el piano", con la cual, la aplicación va construyendo frases para que, al final y leídas en sentido contrario, lleguemos a la conclusión de l prompt inicial. O sea, aquí, intentará demostrar que Ludwig no tocaba el piano. Una falsedad histórica y artística porque era un virtuoso notable pero que, como ejercicio de creación de texto, resulta curioso e interesante.






8/6/24

Lands

 


Lands, de Canek Zapata, es un generador de prosa poética, acompañada de una imagen dibujada por combinaciones poligonales y ciertos sonidos

Con cada click en uno de los textos, se genera de modo automático otro nuevo, junto con otra imagen similar a la anterior. Los textos se crean con gpt3 y codex davinci. Las imágenes se realizaron con Dall-e y el sonido con tone.js

En la versión que puede utilizarse en este enlace, todos los textos han sido ya pre-generados y las imágenes pre-dibujadas. La aplicación sólo las va mostrando tomándolas de una base de datos.






7/6/24

El gozo de escribir

 

El gozo de escribir (Editorial Sirio, 2016), de Natalie Goldberg, es un pequeño ensayo que anima a escribir y da algunas ideas o trucos para hacerlo y para afrontar la dificultad de enfrentarse a la página en blanco. 

Goldberg es una reputada escritora norteamericana que, también, ha impartido talleres de escritura.

Son una multitud capítulos muy cortitos, cada uno de los cuales enfatiza alguna característica importantes de una buena historia y de cómo lograr que surjan en nuestra cabeza. Escuchar, salir del confort, mirar el mundo en profundidad, hacer preguntas e intentar dar respuestas, estar alerta a los detalles, aprender vocabulario, escribir desde el sentimiento. En general, son todos ellos consejos válidos aunque en bastantes ocasiones hay una capa de filosofía zen, de coaching, que empalaga y espiritualiza demasiado los capítulos.

Sin duda, lo más importante, y que de una manera u otra aparece a lo largo de todo el libro, es que hay que escribir, escribir y escribir. El roce hace el cariño y escribiendo en todos los sitios y de todo, al final lograremos ser buenos escritores. No menos importante es leer, leer y leer lo que otros han escrito.

Goldberg evita en todo momento hablar de forma, de estructura de la novela, de estilos, no explica las formas narrativas ni si escribimos en primera, segunda o tercera persona, no nos dice cómo retratar mejor el carácter de un personaje... lo importante es plasmar en una hoja lo que vemos o sentimos y si lo que escribimos no encaja con un modelo estilístico, no pasa nada. Manda el fondo, no la forma. 

El título original es Writing down the bones, con ese sentido de que la buena historia parte del estómago, del corazón, de las emociones.




1/6/24

IA y holosala

 


En este blog se ha hablado en varias ocasiones de la holosala, el "holodeck" que popularizó la serie Star Trek: The Next Generation, un teatro virtual en el que se recrea una escena 3D con total realismo, y en donde uno puede entrar, deambular, interaccionar con otros personajes también recreados en 3D, y convertirse en un actor más de la historia. Por ejemplo, en esteeste y este otro enlace.

Sin duda, alcanzar este reto está aún muy lejos de la tecnología actual aunque para situaciones definidas y controladas existen ya sistemas de simulación industriales que se utilizan habitualmente en el entrenamiento militar, el entrenamiento de pilotos de aviación o en dominar el uso de equipos industriales complejos. En general, estos sistemas de simulación, sin embargo, visualizan el entorno en pantallas que pueden rodear al usuario pero que no dejan "entrar" en ellas. Son, además, sistemas que requieren ordenadores muy potentes para renderizar las imágenes en tiempo real y millones de horas de programación para implementar todas las acciones posibles por parte del usuario.

Investigadores de la University of Pennsylvania School of Engineering and Applied Science, de la Universidad de Stanford, de la de Washington y del Allen Institute han propuesto un nuevo sistema para generar holosalas, basado en inteligencia artificial. No se trata de las salas hiper realistas por las que uno puede caminar e interactuar (que, como se indicó antes, está muy lejos de las posibilidades técnicas de este siglo) pero si de entornos virtuales en los que mediante proyección o mediante gafas 3D podemos integrarnos.

El objetivo no es tanto el entretenimiento sino ayudar a la simulación industrial o militar. Si, en un futuro, queremos disponer de redes neuronales que simulen entornos 3D, del mismo modo que empezamos a tener redes que simulan conversaciones, como ChatGPT, o que generan imágenes de alta calidad, como DALL-E, o vídeos, será necesario disponer de miles de millones de datos para su entrenamiento. En textos, tenemos estos millones de datos; en imágenes también, pero no los tenemos en escenarios 3D modelizados. De estos, en el mundo, hay sólo un numero del orden de decenas de miles. Aún no podemos entrenar una red neuronal especializada.

El nuevo sistema busca generar escenarios 3D renderizados, modelizados y parametrizados según lo que se pueda o no hacer para, con ellos, y una vez que se tenga el volumen adecuado, poder entrenar una red neuronal adaptada a la generación 3D.

Tras ese paso, y mucho más allá en el tiempo, podría llegar la posibilidad de crear holosalas literarias.

El sistema permite generar entornos 3D mediante un diálogo con un LLM de modo que, en vez de tener que dedicar miles de horas a programar una pequeña cosa, sea posible "decir" y "pedir" lo que se desea en lenguaje natural, dejando que sea la IA la que genere todo el cuerpo de código. No es lo mismo ponerse delante de la pantalla a programar miles de líneas en C++ para "crear" una mesa, una silla, una ventana o una sala, que escribir una frase como "crea una sala virtual de 20 m2 con una mesa, dos sillas, una televisión, una alfombra azul en el suelo y dos ventanas".

Para lograrlo, proponen un modelo de lenguaje LLM que interpreta la petición y va generando, paso a paso, los elementos requeridos. Utiliza, en esa fase, la librería Objaverse, un enorme conjunto de objetos cotidianos digitalizados. Se entiende, pues, que la sala generada no podrá ser "cualquiera" sino que su estilo, color, forma, etc. se ajustará a lo que exista en Objaverse.

En las pruebas, se han creado 120 escenas con el nuevo sistema y, simultáneamente, con otro software de renderizado llamado ProcTHOR y se ha valorado su calidad relativa.  En general, los resultados han sido positivos.

El artículo técnico completo puede leerse desde este enlace.