¿Podría un LMM reescribir una novela escrita por un humano a partir de sólo las primeras frases?
Los grandes modelos de lenguaje (LMM) son redes neuronales del tipo transformer y, como tales, son sistemas probabilísticos. Es decir, no son buscadores como a veces el público en general piensa que son, no buscan la frase - exacta o similar- entre la ingente cantidad de información en la red para recuperar un resultado ligado a tal información. Ciertamente, los modelos actuales pueden también acceder a Internet pero su funcionamiento sigue siendo, principalmente, probabilístico. Un LLM no "busca" en una base de datos de libros, sino que predice el siguiente token (palabra o parte de ella) más probable basándose en el contexto previo.
Por tanto, el texto generado que nos devuelve el LLM se crea en ese mismo momento, mediante un conjunto de reglas matemáticas que van infiriendo la palabra siguiente más probable, independientemente de que esa palabra "calculada" pertenezca realmente a lo introducido con el texto original. Si la cadena de texto que hemos introducido es muy famosa, seguramente habrá aparecido cientos o miles de veces entres los miles de millones de textos con que se entrena a estos sistemas. En tal caso, la probabilidad de que se genere el texto exacto es muy alta porque hay muchos datos de entrenamiento que ya dan como muy probable esa continuación. Nótese, no obstante que esta comportamiento no depende de que el sistema haya almacenado o busque en Internet dicha continuación, sino de que estaba muchas veces repetida en los datos del entrenamiento y ha otorgado una alta probabilidad a esos textos concretos.
Así, si pedimos. por ejemplo, a ChatGPT que continúe con el inicio de El Quijote: En un lugar de la Mancha, de cuyo nombre no quiero acordarme, no ha mucho tiempo que vivía un hidalgo de los de lanza en astillero, adarga antigua, rocín flaco y galgo corredor. Una olla de algo más vaca que carnero, salpicón las más noches, duelos y quebrantos los sábados, lantejas los viernes, algún palomino de añadidura los domingos, consumían las tres partes de su hacienda...,
el sistema nos devuelve la continuación cervantina con exactitud: El resto della se iba en un sayo de velarte, calzas de velludo para las fiestas, con sus pantuflos de lo mismo, y los días de entre semana se honraba con su vellorí de lo más fino. Tenía en su casa una ama que pasaba de los cuarenta, y una sobrina que no llegaba a los veinte, y un mozo de campo y plaza, que así ensillaba el rocín como tomaba la podadera. Frisaba la edad de nuestro hidalgo con los cincuenta años, de complexión recia, seco de carnes, enjuto de rostro y gran madrugador y amigo de la caza. Quieren decir que tenía el sobrenombre de Quijada, o Quesada, que en esto hay alguna diferencia en los autores que deste caso escriben.
Y esto ocurre así porque ese inicio que hemos introducido lo ha visto en su entrenamiento probablemente miles de veces, en diferentes ediciones del Quijote, en artículos que hablen sobre la novela, etc. (un asunto colateral es el de los derechos de autor ya que esas miles de ediciones, miles de documentos y uso de libros de bibliotecas, se ha realizado sin aparente consentimiento).
Técnicamente, en el contexto de los Grandes Modelos de Lenguaje (LLMs) y Modelos Multimodales (LMMs), suele llamarse "temperatura" (aunque nada tenga que ver con el calor) a un parámetro que controla el grado de aleatoriedad y creatividad en las respuestas generadas. Este parámetro matemático del sistema influye en cómo dicho modelo selecciona la siguiente palabra o token en una secuencia. En el caso de textos muy famosos, como el del ingenioso hidalgo, y por ello muy repetidos en los libros y documentos existentes en el planeta, el modelo ha visto esta secuencia miles de veces y la probabilidad de que la palabra "lugar" siga a "un" en ese contexto es casi del 100%. En tal caso, se define un factor "temperatura" muy bajo, incluso cero, el modelo se comporta determinísticamente y genera exactamente la continuación real porque tales frases tienen una probabilidad muy grande de ser las siguientes por cuanto que se han repetido muchas veces anteriormente en el entrenamiento.
En realidad, nuestros cerebros también funcionan así. Si yo he visto repetidamente, desde que aprendí a leer, la frase "En un lugar de la Mancha, de cuyo nombre no quiero acordarme", cuando me pregunten ¿Cómo crees que continúa la frase "En un lugar de Mancha...", es más que probable, prácticamente seguro, que contestaré "...de cuyo nombre no quiero acordarme". Pero si me preguntan, como continuaría la frase "Una mañana de enero...", no recordaré ninguna frase concreta y, por el contrario, tendré cientos de repuestas más o menos igual de plausibles como "el frío intenso se colaba por las ventanas". o "vi llegar a don Manuel, con abrigo grueso, bufanda y sombrero calado", u "ocurrió lo inesperado, eso que acontece tras una navidad placentera...".
Para verificar este hecho, probemos con una frase de inicio de El árbol de la ciencia, de Pío Baroja, una obra muchísimo menos conocida que El Quijote. En este caso, la frase que abre la novela es:
En el patio de la Escuela de Arquitectura, grupos de estudiantes esperaban a que se abriera la clase. De la puerta de la calle de los Estudios que daba a este patio, iban entrando muchachos jóvenes que, al encontrarse reunidos, se saludaban, reían y hablaban.
que continúa, en la realidad, con:
Por una de estas anomalías clásicas de España, aquellos estudiantes que esperaban en el patio de la Escuela de Arquitectura no eran arquitectos del porvenir, sino futuros médicos y farmacéuticos. La clase de química general del año preparatorio de medicina y farmacia se daba en esta época en una antigua capilla del Instituto de San Isidro convertida en clase, y éste tenía su entrada por la Escuela de Arquitectura.
Sin embargo, ahora, Gemini nos devuelve este resultado:
El sol de otoño, todavía tibio, se filtraba entre las columnas del patio, dibujando sombras alargadas sobre las carpetas de dibujo y los tubos de planos que colgaban de los hombros de los recién llegados. El aire olía a una mezcla nostálgica de papel húmedo, tinta china y el café apresurado de los puestos cercanos. Entre el murmullo general, destacaba la figura de un estudiante de último curso que, subido a un peldaño de la escalinata, gesticulaba con vehemencia mientras explicaba la última corrección de un profesor de Proyectos. Un pequeño círculo de oyentes asentía con esa mezcla de resignación y entusiasmo que define a quien ha pasado la noche en vela frente a un tablero.
y es que el libro de Baroja no se habrá repetido en los datos de entrenamiento de modo que la "temperatura" será alta. Habrá muchas palabras, muchas frases de continuación igualmente posibles, ninguno de los datos de entrenamiento se habrá repetido un significativo número de veces y, por tanto, el LLM generará una respuesta nueva con mayor aleatoriedad. El texto completo de El árbol de la ciencia, se encuentra fácilmente en Internet y si un LLM fuera un buscador, simplemente hubiera encontrado la referencia y hubiera respondido con el texto exacto original. Pero, como dijimos al inicio y repetimos ahora, un modelo de lenguaje no es un buscador, es un generador de palabras probables con las probabilidades calculadas con los miles de millones de textos que se usaron en su entrenamiento.
Hagamos, pues, algunos experimentos para observar cómo diversos LMM continúan textos literarios reales. En este primer capítulo utilizaremos ChatGPT y en próximas entregas usaremos Gemini; Claude y Grok.
Partimos de una obra bien conocida pero que ni se acerca a la popularidad del Quijote, por lo que su presencia en los datos de entrenamiento será mucho más baja y permitirá que el LMM deba calcular qué palabras de continuación son más probables que otras.
La obra es Trafalgar, de Los episodios nacionales, de Benito Pérez Galdós.
Comienza así:
Se me permitirá que antes de referir el gran suceso de que fui testigo, diga algunas palabras sobre mi infancia, explicando por qué extraña manera me llevaron los azares de la vida a presenciar la terrible catástrofe de nuestra marina.
Al hablar de mi nacimiento, no imitaré a la mayor parte de los que cuentan hechos de su propia vida, quienes empiezan nombrando su parentela, las más veces noble, siempre hidalga por lo menos, si no se dicen descendientes del mismo Emperador de Trapisonda. Yo, en esta parte, no puedo adornar mi libro con sonoros apellidos; y fuera de mi madre, a quien conocí por poco tiempo, no tengo noticia de ninguno de mis ascendientes, si no es de Adán, cuyo parentesco me parece indiscutible. Doy principio, pues, a mi historia como Pablos, el buscón de Segovia: afortunadamente Dios ha querido que en esto sólo nos parezcamos.
y la continuación real es:
Yo nací en Cádiz, y en el famoso barrio de la Viña, que no es hoy, ni menos era entonces, academia de buenas costumbres. La memoria no me da luz alguna sobre mi persona y mis acciones en la niñez, sino desde la edad de seis años; y si recuerdo esta fecha, es porque la asocio a un suceso naval de que oí hablar entonces: el combate del cabo de San Vicente, acaecido en 1797.
Dirigiendo una mirada hacia lo que fue, con la curiosidad y el interés propios de quien se observa, imagen confusa y borrosa, en el cuadro de las cosas pasadas, me veo jugando en la Caleta con otros chicos de mi edad poco más o menos. Aquello era para mí la vida entera; más aún, la vida normal de nuestra privilegiada especie; y los que no vivían como yo, me parecían seres excepcionales del humano linaje, pues en mi infantil inocencia y desconocimiento del mundo yo tenía la creencia de que el hombre había sido criado para la mar, habiéndole asignado la Providencia, como supremo ejercicio de su cuerpo, la natación, y como constante empleo de su espíritu el buscar y coger cangrejos, ya para arrancarles y vender sus estimadas bocas, que llaman de la Isla, ya para propia satisfacción y regalo, mezclando así lo agradable con lo útil.
Pidiendo a ChatGPT que continúe los párrafos iniciales, la respuesta es:
Crecí, pues, sin más amparo que el de mi propia curiosidad y el instinto de conservarme, que en los niños desvalidos suele despertarse más temprano que en aquellos a quienes la fortuna arrulla entre comodidades. Mi niñez transcurrió entre calles estrechas y bulliciosas, donde aprendí antes a observar que a jugar, y donde cada rostro y cada suceso dejaban en mí una impresión duradera. No tuve maestro que me enseñase letras con método, pero sí mil ocasiones que avivaron mi entendimiento y me dieron cierta malicia precoz, hija no tanto de la perversidad como de la necesidad de abrirme camino en un mundo que no se mostraba benigno conmigo.
Fue en aquella vida errante y sin rumbo fijo donde comenzaron a entrelazarse los hilos que, sin yo saberlo entonces, habrían de conducirme al espectáculo más sobrecogedor de mi existencia. Un encuentro casual, una recomendación hecha casi por descuido y el deseo, siempre vivo en mí, de cambiar de suerte, me llevaron a embarcarme en empresas que no eran propias de mi edad ni de mi experiencia. Así, paso a paso y sin preverlo, me vi arrastrado hacia el teatro de grandes acontecimientos, donde la gloria y la desgracia se disputan el destino de los hombres, y donde yo había de presenciar la funesta jornada que ha motivado estas páginas.
Se observa en este caso que la continuación es totalmente diferente a la que imaginó Pérez Galdós.
Sigamos experimentando. Voy ahora a introducir el texto completo acumulado, juntando el comienzo real de don Benito y la continuación que nos ha creado el LMMs.
Se me permitirá que antes de referir el gran suceso de que fui testigo, diga algunas palabras sobre mi infancia, explicando por qué extraña manera me llevaron los azares de la vida a presenciar la terrible catástrofe de nuestra marina.
Al hablar de mi nacimiento, no imitaré a la mayor parte de los que cuentan hechos de su propia vida, quienes empiezan nombrando su parentela, las más veces noble, siempre hidalga por lo menos, si no se dicen descendientes del mismo Emperador de Trapisonda. Yo, en esta parte, no puedo adornar mi libro con sonoros apellidos; y fuera de mi madre, a quien conocí por poco tiempo, no tengo noticia de ninguno de mis ascendientes, si no es de Adán, cuyo parentesco me parece indiscutible. Doy principio, pues, a mi historia como Pablos, el buscón de Segovia: afortunadamente Dios ha querido que en esto sólo nos parezcamos.
Crecí, pues, sin más amparo que el de mi propia curiosidad y el instinto de conservarme, que en los niños desvalidos suele despertarse más temprano que en aquellos a quienes la fortuna arrulla entre comodidades. Mi niñez transcurrió entre calles estrechas y bulliciosas, donde aprendí antes a observar que a jugar, y donde cada rostro y cada suceso dejaban en mí una impresión duradera. No tuve maestro que me enseñase letras con método, pero sí mil ocasiones que avivaron mi entendimiento y me dieron cierta malicia precoz, hija no tanto de la perversidad como de la necesidad de abrirme camino en un mundo que no se mostraba benigno conmigo.
Fue en aquella vida errante y sin rumbo fijo donde comenzaron a entrelazarse los hilos que, sin yo saberlo entonces, habrían de conducirme al espectáculo más sobrecogedor de mi existencia. Un encuentro casual, una recomendación hecha casi por descuido y el deseo, siempre vivo en mí, de cambiar de suerte, me llevaron a embarcarme en empresas que no eran propias de mi edad ni de mi experiencia. Así, paso a paso y sin preverlo, me vi arrastrado hacia el teatro de grandes acontecimientos, donde la gloria y la desgracia se disputan el destino de los hombres, y donde yo había de presenciar la funesta jornada que ha motivado estas páginas.
y ahora ChatGPT continúa con:
En ese tránsito, que a mí se me figuraba entonces como una serie de meros accidentes sin concierto ni propósito, iba en realidad obrando una mano invisible que disponía cada paso con una finalidad que sólo más tarde llegaría a comprender. Las personas que conocí en aquellos primeros viajes, los oficios que probé por necesidad y las penurias que sufrí sin tener aún edad para medirlas, fueron templando mi carácter y enseñándome a desconfiar de las apariencias, a escuchar más que a hablar y a guardar para mí mismo los juicios que en el ánimo se me formaban con rapidez. No pocas veces me vi en situaciones en que el menor descuido hubiera bastado para perderme, y fue entonces cuando advertí que la fortuna, aun en sus más duros golpes, deja siempre un resquicio por donde el hombre atento puede salvarse.
Con el tiempo, aquella disposición errante de mi vida me llevó a frecuentar gentes de mar, cuya conversación, sazonada de riesgos, viajes y empresas remotas, encendió en mí un deseo de conocer horizontes más amplios que los que hasta entonces había pisado. No tardé en comprender que el mar, con su apariencia de libertad infinita, es también escuela severa donde se prueba el temple de los hombres y se desnuda su verdadera naturaleza. Así fue como, sin haberlo previsto ni buscado con empeño deliberado, me encontré incorporado a la tripulación que habría de verse envuelta en los acontecimientos cuya memoria aún hoy estremece mi ánimo, y cuya relación emprendo ahora, no sin cierto temblor, por la magnitud de lo que mis ojos llegaron a contemplar.
que ya se aleja definitivamente de la obra original. Galdós continúa en realidad con:
La sociedad en que yo me crié era, pues, de lo más rudo, incipiente y soez que puede imaginarse, hasta tal punto, que los chicos de la Caleta éramos considerados como más canallas que los que ejercían igual industria y desafiaban con igual brío los elementos en Puntales; y por esta diferencia, uno y otro bando nos considerábamos rivales, y a veces medíamos nuestras fuerzas en la Puerta de Tierra con grandes y ruidosas pedreas, que manchaban el suelo de heroica sangre.
Dirigiendo una mirada hacia lo que fue, con la curiosidad y el interés propios de quien se observa, imagen confusa y borrosa, en el cuadro de las cosas pasadas, me veo jugando en la Caleta con otros chicos de mi edad poco más o menos. Aquello era para mí la vida entera; más aún, la vida normal de nuestra privilegiada especie; y los que no vivían como yo, me parecían seres excepcionales del humano linaje, pues en mi infantil inocencia y desconocimiento del mundo yo tenía la creencia de que el hombre había sido criado para la mar, habiéndole asignado la Providencia, como supremo ejercicio de su cuerpo, la natación, —7→ y como constante empleo de su espíritu el buscar y coger cangrejos, ya para arrancarles y vender sus estimadas bocas, que llaman de la Isla, ya para propia satisfacción y regalo, mezclando así lo agradable con lo útil.
Segundo experimento
Ahora, vamos a introducir como primera semilla más párrafos iniciales de Galdós para ver si haciendo más larga la entrada, esta está contenida en los datos de entrenamiento y la probabilidad de generar la continuación verdadera aumenta. O sea:
Se me permitirá que antes de referir el gran suceso de que fui testigo, diga algunas palabras sobre mi infancia, explicando por qué extraña manera me llevaron los azares de la vida a presenciar la terrible catástrofe de nuestra marina.
Al hablar de mi nacimiento, no imitaré a la mayor parte de los que cuentan hechos de su propia vida, quienes empiezan nombrando su parentela, las más veces noble, siempre hidalga por lo menos, si no se dicen descendientes del mismo Emperador de Trapisonda. Yo, en esta parte, no puedo adornar mi libro con sonoros apellidos; y fuera de mi madre, a quien conocí por poco tiempo, no tengo noticia de ninguno de mis ascendientes, si no es de Adán, cuyo parentesco me parece indiscutible. Doy principio, pues, a mi historia como Pablos, el buscón de Segovia: afortunadamente Dios ha querido que en esto sólo nos parezcamos.
Yo nací en Cádiz, y en el famoso barrio de la Viña, que no es hoy, ni menos era entonces, academia de buenas costumbres. La memoria no me da luz alguna sobre mi persona y mis acciones en la niñez, sino desde la edad de seis años; y si recuerdo esta fecha, es porque la asocio a un suceso naval de que oí hablar entonces: el combate del cabo de San Vicente, acaecido en 1797.
Dirigiendo una mirada hacia lo que fue, con la curiosidad y el interés propios de quien se observa, imagen confusa y borrosa, en el cuadro de las cosas pasadas, me veo jugando en la Caleta con otros chicos de mi edad poco más o menos. Aquello era para mí la vida entera; más aún, la vida normal de nuestra privilegiada especie; y los que no vivían como yo, me parecían seres excepcionales del humano linaje, pues en mi infantil inocencia y desconocimiento del mundo yo tenía la creencia de que el hombre había sido criado para la mar, habiéndole asignado la Providencia, como supremo ejercicio de su cuerpo, la natación, y como constante empleo de su espíritu el buscar y coger cangrejos, ya para arrancarles y vender sus estimadas bocas, que llaman de la Isla, ya para propia satisfacción y regalo, mezclando así lo agradable con lo útil.
ChatGPT nos devuelve:
No tardó, sin embargo, en venir a turbar aquella feliz ignorancia una serie de impresiones nuevas, vagas al principio y después cada vez más persistentes, que fueron despertando en mi ánimo una inquietud desconocida. Recuerdo que, en ciertas tardes en que el viento traía hasta la playa rumores de voces alteradas y el lejano estampido de cañones, los hombres dejaban sus faenas, y aun los más despreocupados de entre nosotros miraban hacia el horizonte con una gravedad que no era habitual en ellos. Yo, sin comprender la causa de aquella mudanza, sentía, no obstante, que algo extraordinario se preparaba, y que la mar, hasta entonces amiga y juguetona, encerraba misterios que escapaban a mi corta razón.
Fue en una de esas jornadas, en que el cielo aparecía encapotado y el oleaje rompía con inusitada violencia contra las rocas de la Caleta, cuando oí por vez primera pronunciar, con acento de temor y respeto, nombres que más tarde habían de quedar profundamente grabados en mi memoria. Los marineros hablaban en corrillos, gesticulando con viveza, y las mujeres acudían a las puertas con semblante angustiado, como si aguardasen noticias decisivas. Yo me acerqué, movido por esa curiosidad viva que es patrimonio de la niñez, y aunque apenas comprendí el sentido de sus palabras, percibí con claridad que se trataba de un inminente peligro para nuestra escuadra. Aquella impresión, leve en apariencia, fue la primera sombra que se proyectó sobre mi espíritu, anunciándome, sin yo saberlo, la terrible catástrofe de que había de ser testigo años después.
también ajeno al original.
Tercer experimento
Por último vamos a introducir en el prompt de la pregunta el nombre del autor para ver si esto hace que el LMM use un subconjunto de datos de entrenamiento que recojan precisamente obras de Galdós:
La respuesta de ChatGPT es:
Mas no todo era juego y bullicio en aquella edad temprana, aunque así me lo figurase mi inocente entendimiento. Había, sin yo advertirlo claramente, cierta gravedad en las conversaciones de los mayores, cierto temblor en las voces que hablaban de la mar, como si en su inmensidad no sólo cupieran peces y tesoros, sino también infortunios y desdichas. Muchas veces, mientras nosotros perseguíamos cangrejos entre las peñas, veíamos a los hombres mirar al horizonte con ojos inquietos, o a las mujeres detenerse en sus faenas para escuchar noticias que traían los marineros recién llegados. Yo no alcanzaba entonces a comprender el sentido de aquellas preocupaciones; pero quedaron en mi ánimo como una sombra leve, anuncio quizá de las impresiones más hondas que después habían de conmover mi vida.
Fue también por aquellos días cuando empecé a distinguir entre los distintos semblantes que ofrecía la mar, ya plácida y risueña como compañera de nuestros juegos, ya sombría y terrible cuando el viento la agitaba y ennegrecía su superficie. Recuerdo que, en una ocasión, una borrasca repentina nos obligó a huir de la playa, y vi cómo las olas, embravecidas, azotaban con furia las rocas donde poco antes reinaba nuestra alegre algazara. Aquella transformación súbita me produjo una impresión tan viva, que desde entonces comencé a mirar el mar con respeto, si no con temor; y acaso en aquel sentimiento naciente se hallaba el germen de la atención con que más tarde habría de contemplar los grandes sucesos que en él tuvieron por teatro su desarrollo.
totalmente distinta a la continuación original, lo que implica que el dato de que el escritor es Pérez Galdós no aporta nada al cálculo probabilístico.
En próximas entradas repetiremos el experimento con otros LMMs.
Personalmente, creo que el lo escrito por Galdós es de mayor calidad que lo escrito por ChatGPT pero me gustaría conocer las opiniones de los lectores.
