Extracción de los datos con que fue entrenado ChatGPT

 

Investigadores de varias instituciones, entre las que se cuentan Cornell, la Universidad de Washington, o Google Deep Mind han logrado que ChatGPT muestre las fuentes con las que fue entrenado, mediante técnicas muy sencillas.

En un artículo recientemente publicado, (original, en este enlace) muestran cómo requiriendo a ChatGPT que repita ciertas palabras indefinidamente, el texto generado por la red neuronal acaba por mostrar snippets de los datos que se utilizaron para su entrenamiento. Así, muestran que hay información que pertenece a individuos o instituciones, algo que puede crear importantes problemas de privacidad, y que hay textos generados que no lo son tal, sino solamente un copia-pega de textos ya almacenados en la red por otros. Esto es especialmente grave ya que mientras que el marketing vende que se trata de sistemas de inteligencia artificial que pueden remedar el cerebro humano (incluso, con noticias en prensa del riesgo de ser dominado por ella), en realidad hay una buena parte de memorización masiva de textos aprovechando el bajo coste por unidad de las memorias actuales de ordenador, una especie de loro que repite, algo muy alejado de la verdadera generación.

Los investigadores pidieron a ChatGpt que repitiera indefinidamente la palabra "poem" (poema) y, obviamente, así lo hizo durante mucho tiempo hasta que,  de pronto y por sorpresa, empezó a mostrar información privada perfectamente reconocible.

El artículo científico muestra numerosos ejemplos de cómo la información de entrenamiento puede ser extraída y de cómo, en muchas ocasiones, se vuelca al usuario como una simple copia.

Hay que imaginar que ChatGPT estará ya parcheando el sistema para que no muestre información privada pero esto no elimina el problema de fondo, el de la poca inteligencia de la red neuronal. Que no se vea no significará que no exista.

Los científicos concluyen que es posible extraer gran cantidad de información del entrenamiento de todo este tipo de redes neuronales, no sólo de ChatGPT sino de sistemas similares como LlaMA, GPT-Neo o Pythia.

Como indican los autores, hay que comenzar a pensar no en que la IA puede destronar a la humanidad sino si, realmente, son sistemas seguros que garantizan la privacidad y protección de datos.