Otro detector de IA... que tampoco funciona

 

En la entrada anterior, veíamos una aplicación para detectar textos generados por IA que no detectaba correctamente y daba continuamente falsos positivos, es decir todo lo catalogaba como escrito por una red LLM.

Otra aplicación similar, llamada Writer AI Contect Detector, tiene la misma funcionalidad y el resultado es el mismo. Falla continuamente, sólo que este da falsos negativos, es decir todo lo cataloga como humano aún cuando no lo sea.

Utilicemos los mismos 4 textos que en la entrada anterior.

El primero, generado por ChatGPT:

Hoy he aprovechado la mañana para ordenar un poco el apartamento. Siempre acumulo papeles y libros por todas partes. Me ha costado, porque la cabeza la tenía en otro sitio. He encontrado unas fotos antiguas de mis padres. Jóvenes, riendo. Me he quedado un buen rato mirándolas. He pensado en lo que habrían dicho de mi vida actual. En las noticias, hablaban de una nueva crisis política en un país latinoamericano, parece que no hay paz en ninguna parte. He comido un poco de pasta con tomate, fácil y rápido. Por la tarde, me he puesto un documental sobre la vida de los faraones egipcios. Siempre me ha fascinado su civilización, tan avanzada para su época. No he salido de casa. Me siento un poco encerrado en mí mismo. Tengo que intentar revertir esta situación.

El resultado es que, según el programa, este texto es humano con un 88% de probabilidad cuando debiera ser el 0%

El segundo, también artificial, obtiene un resultado de que es humano al 92%, cuando también debiera ser 0%.

El café con Arturo ha sido un respiro. Hemos hablado de la situación en nuestros bancos. Parece que la cosa está igual en todas partes. Me ha servido para darme cuenta de que no estoy solo en esto. Él también está preocupado por su edad, por si lo de la reestructuración significa un ERE encubierto. Hemos comentado alguna estrategia para buscar trabajo si la cosa se pone fea, aunque ninguno de los dos tenemos muchas esperanzas. La conversación, aunque seria, ha sido reconfortante. Me ha recomendado un documental sobre la Guerra Civil española, y yo le he hablado de Lightnin' Hopkins. En el banco, la jornada ha sido rara, como en pausa. Parece que todo el mundo está esperando la llamada.

En tercer lugar, el primero de los textos humanos, el de Kerouac. Obtiene un 100% de seguridad de que es un texto humano. Correcto.

Después me vestí y volamos hacia Nueva York para reunimos con las chicas. Mientras íbamos en el autobús por el extraño vacío fosforescente del túnel Lincoln nos inclinábamos uno sobre el otro moviendo las manos y gritando y hablando excitadamente, y yo estaba empezando a estar picado por el mismo bicho que picaba a Dean. Era simplemente un chaval al que la vida excitaba terriblemente, y aunque era un delincuente, sólo lo era porque quería vivir intensamente y conocer gente que de otro modo no le habría hecho caso. Me estaba exprimiendo a fondo y yo lo sabía (alojamiento y comida y «cómo escribir», etc.) y él sabía que yo lo sabía (ésta ha sido la base de nuestra relación), pero no me importaba y nos entendíamos bien: nada de molestarnos, nada de necesitarnos; andábamos de puntillas uno alrededor del otro como unos nuevos amigos entrañables. Empecé a aprender de él tanto como él probablemente aprendió de mí. 

Y, por último, el comienzo de Cien años de soledad recibe un 98% de humanidad. Algo ha debido encontrarle a García Márquez.

Muchos años después, frente al pelotón de fusilamiento, el coronel Aureliano Buendía había de recordar aquella tarde remota en que su padre lo llevó a conocer el hielo. Macondo era entonces una aldea de veinte casas de barro y cañabrava construidas a la orilla de un río de aguas diáfanas que se precipitaban por un lecho de piedras pulidas, blancas y enormes como huevos prehistóricos. El mundo era tan reciente, que muchas cosas carecían de nombre, y para mencionarlas había que señalarías con el dedo. Todos los años, por el mes de marzo, una familia de gitanos desarrapados plantaba su carpa cerca de la aldea, y con un grande alboroto de pitos y timbales daban a conocer los nuevos inventos. Primero llevaron el imán. Un gitano corpulento, de  barba montaraz y manos de gorrión, que se presentó con el nombre de Melquiades, hizo una truculenta demostración pública de lo que él mismo llamaba la octava maravilla de los sabios alquimistas de Macedonia. Fue de casa en casa arrastrando dos lingotes metálicos, y todo el mundo se espantó al ver que los calderos, las pailas, las tenazas y los anafes se caían de su sitio, y las maderas crujían por la desesperación de los clavos y los tornillos tratando de desenclavarse, y aun los objetos perdidos desde hacía mucho tiempo aparecían por donde más se les había buscado, y se arrastraban en desbandada turbulenta detrás de los fierros mágicos de Melquíades. «Las cosas, tienen vida propia -pregonaba el gitano con áspero acento-, todo es cuestión de despertarles el ánima.» José Arcadio Buendía, cuya desaforada imaginación iba siempre más lejos que el ingenio de la naturaleza, y aun más allá del milagro y la magia, pensó que era posible servirse de aquella invención inútil para desentrañar el oro de la tierra.

En definitiva, este programa siempre dice que el texto es humano, lo sea o no.