Inteligencia artificial para dialogar con leguajes de señas

 

Libras es el acrónimo de Língua brasileira de sinais, el sistema de señas por el que las personas con discapacidad verbal o auditiva se comunican en Brasil u otros lugares de habla portuguesa. 

Pues bien, Lenovo ha presentado un sistema de interpretación de estas señas basado en inteligencia artificial. Una cámara detecta el movimiento de las manos y es capaz de "entender" su significado, procediendo a su plasmación tanto en texto, en una pantalla de ordenador como en salida sonora mediante un convertidor de texto a voz. La traducción, lógicamente, se hace al portugués.

Así, es posible que una persona que no conozca en absoluto el sistema de señas entienda a otra persona que lo utilice gracias a la traducción en tiempo real que hace el ordenador.

Las demostraciones que se han hecho hasta el momento utilizan la potencia de cálculo de los ordenadores en la nube de Lenovo pero puede también usarse el sistema con terminales locales dedicados. Eso sí, el volumen de computación requerido es elevado ya que deben procesarse las imágenes y los gestos a gran velocidad en tiempo real.

El entrenamiento de la red neuronal se ha realizado en colaboración con el Centro de investigación CESAR. Se ha usado una gran cantidad de vídeos (varios miles) con personas hablando por gestos hasta que la red ha sido capaz de distinguir con suficiente precisión cada uno de ellos.

Más información en la página de Lenovo dedicada al Tech World 2023. El vídeo que acompaña la página es suficientemente explicativo.