Un laboratorio de computación que trabaja en la simplificación de la interacción persona-computadora para personas de todas las capacidades ha desarrollado un lector de labios digital con su propio sistema de aprendizaje automático para ayudar al usuario a comprender mejor.
Tipo de labio es una invención del profesor Ahmed Sabbir Arif y su laboratorio. En resumen: lee el movimiento de los labios. Lo lee tan bien que permite a las personas enviar mensajes de texto o correos electrónicos en computadoras y teléfonos inteligentes, y tener interacciones sin contacto con dispositivos públicos como cajeros automáticos u otros quioscos. sin hablar en voz alta.
Hay otros dispositivos para leer los labios, pero no se utilizan mucho porque son lentos y, a menudo, defectuosos.
Un salto adelante
Hay muchos errores en el dictado, especialmente en lugares ruidosos. Las personas con problemas de lenguaje también tienen problemas para hacerse entender, quizás por el acento. LipType funciona para cualquier persona. Es posible que las personas necesiten enviar un mensaje privado mientras se encuentran en un espacio público o en una reunión, y con LipType pueden mover los labios sin emitir ningún sonido.
Arif sus alumnos han agregado varios filtros con diferentes algoritmos. inteligencia artificial para permitir la lectura de labios en diferentes condiciones de iluminación. Luego introdujeron un corrector de errores basado en diferentes modelos de lenguaje y encontraron que LipType era significativamente más rápido que otros dispositivos existentes.
La prueba de lectura de labios
Para acompañar la prueba del software, el laboratorio de Arif llevó a cabo un estudio social para ver si las personas usarían dicha tecnología. Se pusieron en contacto con estudiantes y personas de la comunidad, incluidas personas con discapacidades, y realizaron una encuesta en línea. Las reacciones fueron entusiastas.
Los resultados de las pruebas de software también fueron sobresalientes. "LipType funcionó un 58% más rápido que otros modelos", dice el investigador Laxmi Pandey. “El dispositivo ha demostrado estar a la vanguardia en varios contextos del mundo real, con poca luz y ruido. El éxito de LipType me hace creer que puede revolucionar nuestra interacción entre nosotros y con los dispositivos de TI ”.
El estudio social y el estudio del lector de labios LipType han sido aceptados para su publicación y presentación en la principal conferencia internacional sobre interacción humano-computadora.
Las posibles aplicaciones del lector de labios LipType
Hay varias aplicaciones posibles para este sistema de lectura de labios. Obviamente, LipType puede acercar mucho a las personas con discapacidad a las herramientas digitales. En muchos casos, podría ser útil para los organismos encargados de hacer cumplir la ley, comprender qué sucede en escenarios en los que no pueden acceder escuchando. Las interfaces de automóvil también pueden ser útiles, por lo que puede escribir mensajes mientras escucha música. Hay una filosofía de diseño para todo: el límite es la imaginación.
