Fallos en los detectores de texto creados por IA

 

Con la aparición de los grandes sistemas de generación de texto basados en IA, en redes neuronales, como ChatGPT, ha saltado la alarma de cómo los estudiantes pueden "copiar" sus trabajos, pueden crearse artículos técnicos y científicos de manera automática o falsear cualquier documento. A toda alarma, corresponde una prevención y, en este caso, están proliferando los programas que afirman poder detectar si un texto ha sido creado usando IA, de manera automática.

Hace un par de meses, ya analizamos en Biblumliteraria que la eficacia de estos nuevos programas de detección era aún pequeña y, por ello, no eran fiables.

Ahora, un estudio de un equipo de investigadores de la Universidad de Stanford ha llegado a una conclusión aún peor. Los programas que presumiblemente detectan si un texto ha sido generado por IA dan muchos falsos positivos en textos no creados por autores que no tienen como lengua madre el inglés. 

Aunque es posible escribir un artículo científico en cualquier idioma, la necesidad de publicarlos en revistas de primera línea o darlos a conocer en repositorios internacionales, fuerza a que el inglés sea la lengua que se utiliza mayoritariamente. Pero, claro está, no pueden ser igual la expresión y calidad de redacción en inglés si escribe un estadounidense o un chino, un inglés o un francés.

El estudio ha concluido que, si el autor no tiene el inglés como lengua materna y está traduciendo de su propia lengua, los detectores señalarán el artículo como escrito por una IA, cuando no es verdad. La tase de error es muy alta de más del 60%. Al parecer, los programas de detección utilizan como criterios elementos como la variedad de sinónimos usados o la riqueza de vocabulario, que pueden ser mayores en un nativo que en uno que no lo es.

Es decir, a fecha de hoy, los actuales programas no sólo no detectan bien los textos que sí han sido generados por IA, sino que los que no lo han sido pueden ser dados por redactados por la IA. Falsos positivos y falsos negativos.

Existe también un sesgo moral en todo esto ya que los algoritmos consideran no humanas a las personas que no tienen el inglés como lengua madre.

Pero, bueno, será sólo cuestión de tiempo que estos sesgos se corrijan... O no... Porque los resultados también pueden usarse para justamente lo contrario, para evitar que los programas detecten los auténticos fraudes, usando simplemente, por ejemplo, más sinónimos y pidiendo a ChatGPT que no repita palabras o ponga más verborrea.

El artículo puede leerse desde este enlace.