Convertir patrones neuronales en habla

Científicos norteamericanos han obtenido avances en el intento de convertir señales cerebrales en habla. No es lo espectacular que se ha leído en muchos titulares periodísticos pero sí representa un paso interesante hacia la interpretación de los patrones de excitación neuronal que producen el habla. 

Los investigadores fueron registrando mediante implantes con electrodos intracraneales, en ciertos pacientes con epilepsia, los diversos esquemas de disparo de neuronas y suministrando esta información a una red neuronal convolucional, junto a la frase que el sujeto estaba expresando por su boca. Así, pusieron a estos pacientes a leer y se fueron emparejando los patrones de actividad neuronal con la señal de un micrófono que llegaba a la red a partir de las frases concretas leídas, de modo que el sistema aprendía a relacionar patrones de disparo eléctrico cerebral con ondas de sonido. Tras el largo aprendizaje, esta red neuronal fue capaz de "traducir" por sí misma otros patrones, asimilarlos a señal sonora y, con un sintetizador, emitir por un altavoz. Paralelamente usaron un segundo método que relacionaba la información numérica del patrón detectado con los sonidos mediante técnicas de regresión lineal. El realizar el experimento con dos sistemas permite cruzar datos y afinar los métodos.

Hay que notar que la red neuronal no está reconociendo palabras ni su significado como se ha dado a entender en los periódicos. Lo que hace es crear cierto sonido, emparejar cierto sonido, cuando detecta cierto patrón cerebral pero de manera mecánica y ciega, sin "entender" la frase. 

La transcripción es aún un tanto difusa y difícil de entender pero es, sin duda, un avance muy importante ya que puede comprenderse lo emitido - y corresponde a  lo que realmente se ha leído - hasta en el 70% de los casos, que no está nada mal. Curiosamente, la red neuronal ha comenzado a funcionar siempre que el sujeto pronuncie verdaderamente la frase. Si sólo la piensa sin articular palabra, la red no da resultados adecuados. Incluso si se mueven los labios pero no se emite sonido, la red falla asimismo. Esto implica que los circuitos neuronales son distintos cuando, por ejemplo, se lee en silencio o se lee dando un discurso, cuando se emite sonido o no se emite. En definitiva, los patrones de excitación neuronal son diferentes si se vocaliza o no. El porqué nadie lo sabe. Queda muchísimo por aprender aún.

Ni que decir tiene que las aplicaciones médicas de estos avances son importantísimas. Lo mismo que en ingeniería y en literatura generativa.

Los resultados de la investigación se han publicado en Nature.

En este vídeo pueden escucharse varias frases en el original y tal como son sintetizadas por la red neuronal a partir del patrón cerebral.