Detección de textos generados por IA

 

Con la llegada de las redes neuronales capaces de generar textos de cierta calidad y de mantener conversaciones razonablemente inteligibles, ha llegado también el riesgo de la farsa, la copia y la mentira generada por ordenador. Por ejemplo, podría pensarse que los alumnos universitarios podrían realizar sus trabajos simplemente pidiendo a ChatGPT o Bard que le escriban el texto, sin aplicarse ni estudiar ni esforzarse en aprender.  O un periodista podría redactar sus noticias en modo automático, sin preocuparse de verificar los hechos, contrastar la veracidad de lo que se dice o hacer el trabajo para el que se le paga.

Con esto en mente están apareciendo numeroso programas anti-fraude que afirman poder detectar si un texto ha sido redactado por un humano o por una red neuronal. Otro negocio adicional al que la propia IA genera.

Un equipo de investigadores de Europa y América, liderados por  Debora Weber-Wulff, de la University of Applied Sciences HTW en Berlín, ha realizado un análisis detallado de cuán verdad es que estos nuevos programas anti fraude son capaces de detectar textos generados por ordenador. El artículo completo puede leerse en este enlace de ArXiv.

Los resultados son descorazonadores. Los programas analizados no son capaces de detectar con suficiente grado de acierto si los textos son humanos o no. Al contrario, ofrecen numerosos falsos positivos (es decir, catalogar como creado por IA un texto escrito por una persona) y falsos negativos (textos artificiales diagnosticados como humanos), pero en general tienden más a ofrecer falsos positivos. Las conclusiones del informe inciden también en que estos programas no son robustos por cuanto que empeoran sus resultados si se intenta retocar, formatear o editar los textos para hacerlos más claros o si el idioma es el inglés. Además, los resultados no son presentados de forma clara y dan lugar a equívocos.

En fin, de momento, mejor hacer un análisis humano que dejar que un software poco fiable detecte a otro software menos fiable aún.