Actualmente, es fácil generar un texto mediante un LLM que tenga toda la apariencia de haber sido creado por una persona. La sintaxis es siempre correcta y, aunque pueda no ser un texto lleno de imaginación y lirismo, aún cuando pueda describir una mentira, no desmerece en nada de lo que pudiera haber escrito un ser humano.
Y, en este contexto, y sobre todo en el mundo de la educación, surgen programas que infieren si el texto es genuinamente humano o bien ha sido generado artificialmente por una IA basada en LLMs.
Una de estas aplicaciones es JustDone.ai que estudia el texto que se le suministra y nos dice la probabilidad de que haya sido escrito por ChatGPT o similares.
¿Funciona? Con las pruebas realizadas, no. En realidad, es una máquina de dar falsos positivos. Siempre dice que es altamente probable que sea un texto de IA, lo sea o no lo sea.
Veamos, un primer ejemplo. Alimento la aplicación con un texto que previamente me ha generado ChatGPT. Es este:
Hoy he aprovechado la mañana para ordenar un poco el apartamento. Siempre acumulo papeles y libros por todas partes. Me ha costado, porque la cabeza la tenía en otro sitio. He encontrado unas fotos antiguas de mis padres. Jóvenes, riendo. Me he quedado un buen rato mirándolas. He pensado en lo que habrían dicho de mi vida actual. En las noticias, hablaban de una nueva crisis política en un país latinoamericano, parece que no hay paz en ninguna parte. He comido un poco de pasta con tomate, fácil y rápido. Por la tarde, me he puesto un documental sobre la vida de los faraones egipcios. Siempre me ha fascinado su civilización, tan avanzada para su época. No he salido de casa. Me siento un poco encerrado en mí mismo. Tengo que intentar revertir esta situación.
La respuesta de JustDone.ai es que este texto ha sido creado por una IA con un 85% de probabilidades. Esperanzador.
Probemos con otro texto, creado también íntegramente por ChatGPT:
El café con Arturo ha sido un respiro. Hemos hablado de la situación en nuestros bancos. Parece que la cosa está igual en todas partes. Me ha servido para darme cuenta de que no estoy solo en esto. Él también está preocupado por su edad, por si lo de la reestructuración significa un ERE encubierto. Hemos comentado alguna estrategia para buscar trabajo si la cosa se pone fea, aunque ninguno de los dos tenemos muchas esperanzas. La conversación, aunque seria, ha sido reconfortante. Me ha recomendado un documental sobre la Guerra Civil española, y yo le he hablado de Lightnin' Hopkins. En el banco, la jornada ha sido rara, como en pausa. Parece que todo el mundo está esperando la llamada.
En este caso, el programa indica que el texto ha sido creado por una IA con un 90% de probabilidad. Excelente.
Parece que JustDone.ai sabe detectar los textos artificiales.
Probamos, ahora, con un fragmento escrito por un humano, concretamente por J. Kerouac en su En el camino (On the Road):
Después me vestí y volamos hacia Nueva York para reunimos con las chicas. Mientras íbamos en el autobús por el extraño vacío fosforescente del túnel Lincoln nos inclinábamos uno sobre el otro moviendo las manos y gritando y hablando excitadamente, y yo estaba empezando a estar picado por el mismo bicho que picaba a Dean. Era simplemente un chaval al que la vida excitaba terriblemente, y aunque era un delincuente, sólo lo era porque quería vivir intensamente y conocer gente que de otro modo no le habría hecho caso. Me estaba exprimiendo a fondo y yo lo sabía (alojamiento y comida y «cómo escribir», etc.) y él sabía que yo lo sabía (ésta ha sido la base de nuestra relación), pero no me importaba y nos entendíamos bien: nada de molestarnos, nada de necesitarnos; andábamos de puntillas uno alrededor del otro como unos nuevos amigos entrañables. Empecé a aprender de él tanto como él probablemente aprendió de mí.
Y el resultado de la aplicación es que este texto es artificial con un 82% de probabilidad. Las cosas empiezan a torcerse.
Pongamos las cosas fáciles al programa. Le alimentamos, ahora, con el inicio de Cien años de soledad, de García Márquez.
¡El resultado es que nos dice que el texto está escrito por una IA artificial al 95% de probabilidades!
Conclusión: la aplicación no detecta si el texto es humano o no, y da siempre un falso positivo.
Entradas
0 comentarios :
Publicar un comentario