Errores en textos, fruto del proceso de entrenamiento de la IA

 

A principios de este año, la prensa científica se hacía eco de una frase muy extraña que estaba apareciendo repetidamente en artículos sobre biología. La frase habla de "Vegetative electron microscopy", o microscopía de electrones vegetativos. Concepto extraño, válgame Dios. No sólo extraño sino totalmente falso.

No fue hasta que un químico ruso lo vio en un artículo publicado por Springer Nature (ahora retirado) e hizo saltar las alarmas.

El caso es que varias decenas de trabajos lo han incluido y eso llevó a preguntarse dos cuestiones:

a) ¿Cuál es el origen de semejante falsedad?

b) ¿Cuál es la fiabilidad de los artículos que se publican?

Respecto a la primera pregunta, hay dos hipótesis. La primera se remonta a un trabajo de 1959 impreso a dos columna (ver imagen superior) en donde por puro azar la palabra "vegetative" de la columna izquierda, estaba al lado de las palabras "electron microscopy" de la columna derecha. Por un error en la digitalización del texto, mediante un OCR, esas palabras que nada tenían que ver entre sí, se confundieron en un único concepto "Vegetative electron microscopy". Este texto digitalizado se utilizó posteriormente para entrenar las redes neuronales que hoy usamos, de modo que el sistema entiende que es un concepto real y aplica una alta probabilidad de construir esa cadena de palabras y las bases de datos contienen el término como genuino.

La segunda hipótesis es que se trata de una mala traducción de un artículo original en farsi, en Irán, hipótesis que se sospecha posible ya que en muchos de los artículos erróneos hay autores persas. En concreto, en farsi, "scanning electron microscopy”  es “mikroskop elektroni robeshi”, mientras que “vegetative electron microscopy” es “mikroskop elektroni royashi”. Solo se diferencian por un punto en la escritura persa. Un único punto puede  pasar desapercibido tanto para un scanner como para un humano.

Sea cual sea la razón, la importante es la segunda pregunta. 

- ¿Qué hay de la revisión por pares de los artículos publicados por prestigiosas revistas?

- ¿Nadie se ha dado cuenta en las revisiones del fallo?

- ¿Cómo es posible que haya decenas de publicaciones cometiendo el mismo error? ¿Los científicos hacen, en ocasiones, copiar y pegar de otros artículos sin siquiera leer lo que pegan?

- ¿Los datos usados para entrenar redes neuronales y LLMs no se revisan antes de ser usados? 

- ¿ Las extensas bibliografías que se adjuntan a muchos artículos han sido realmente tenidas en cuenta leídas y entendidas? ¿O se añaden para hacer bulto?

Ciertamente, se trata de una anécdota pero que abre interrogantes profundos.