Con el propósito de generar inclusión con personas en condición de discapacidad auditiva, tres estudiantes de la Universidad del Norte, en Barranquilla, crearon una aplicación móvil que traduce en tiempo real el lenguaje de señas colombiano.

Los desarrolladores de esta iniciativa fueron Carla Durán Mariota, Juan Arteaga Rodríguez y Mauricio Maldonado Iturriago, ingenieros de sistemas en formación, que tomaron una idea que les venía rondando desde primer semestre.

“Lo que hicimos fue que lo aterrizamos al contexto colombiano. La app móvil, desde la cámara del celular, escanea la imagen que se está viendo, comunica con Inteligencia Artificial (IA) y le responde con la palabra y el porcentaje de acierto de esa palabra”, explicó Maldonado.

A este proyecto lo identificaron como Talk to Hands (hablar con las manos), el cual ya es una realidad con un prototipo que funciona al ciento por ciento y con un alcance de predicción que supera el 70 por ciento.

El trabajo con el Data Set

De acuerdo con Arteaga, el proceso empieza con la imagen escaneada, llega al servidor creado por los jóvenes, la procesa, la evalúa para saber el tipo de seña que se está viendo, con un modelo entrenado con las imágenes recolectadas previamente en el Data Set. Todo en cuestión de segundos.

“Por pantalla se le muestra al usuario el significado de la seña en palabras hasta elaborar una frase completa”

En este caso, el Data Set (banco digital de imágenes) es un modelo que se entrena con las imágenes ya específicas del lenguaje de señas que fueron recolectadas. Para que esta fuera posible, había que pasarlas primero por la aplicación de programación Python.

“Por pantalla se le muestra al usuario el significado de la seña en palabras hasta elaborar una frase completa. Esa es la idea de la aplicación: comunicar a las personas con discapacidad (auditiva) con quienes no tienen esa condición para que puedan interactuar, porque sabemos que este tema del lenguaje de señas no es muy conocido para las personas del común o son muy pocos que tienen conocimiento de esto”, indicó el joven.

En la capital del Atlántico, residen 22.472 personas con alguna condición de discapacidad, incluidas en el aplicativo Registro de Localización y Caracterización de Personas con Discapacidad (RLCPD) del Ministerio de Salud. De esta cifra, 1.985 personas tienen sordera e hipoacusia, según cifras oficiales del Distrito, con corte al año 2021.

Tía de uno de los jóvenes inspiró el proyecto

no de esos casos es el de la tía de Carla Durán, una de las personas y situaciones que inspiraron a esta iniciativa, la cual se consolidó como un proyecto de grado en el programa de pregrado de Ingeniería de Sistemas, de la Uninorte.

“Hace algún tiempo, mi tía vivió conmigo en mi casa y era bastante difícil entenderle qué quería. Era muy frustrante no entenderle. Mucho tiempo después, se mudó de la casa y cuando iba a visitarla seguía el mismo problema”, recordó la joven, de 23 años.

Durán sostuvo que la dificultad de la comunicación la entristecía. La tía trataba hacerse entender señalando, pero reconoció que aun así no podía entenderla y solo le respondía “sí, sí, sí…”.

Fue así como la joven le compartió la idea a sus compañeros de clase, empezaron a trabajar en conjunto y, en el último semestre de su carrera, la fortalecieron al recibir la tutoría de los docentes Wilson Nieto Bernal y Eduardo Enrique Zurek, quienes aportaron con sus conocimientos en el desarrollo de plataformas con Inteligencia Artificial, además de FrontEnd y BlanckEnd.

Los resultados en un semestre

El proceso para hacer realidad este proyecto, que demandó un semestre de trabajo, empezó con el estudio y el análisis, buscando su viabilidad. Después, los tres jóvenes continuaron con la fase de investigación.

Esta última constó de una revisión sistemática de la literatura para hallar métodos y aplicaciones utilizados para facilitar la comunicación con personas en condición de discapacidad. Es en este punto en que descubren la necesidad de aterrizarlo al lenguaje de señas colombiano.

“Investigamos sobre los diferentes lenguajes de señas, porque antes queríamos hacer la aplicación para todo el mundo. Se puede adaptar, pero es complicado porque hay muchísimas palabras que tienen diferentes significados, incluso dentro del mismo país nuestro”, dijo Durán.

La ruta continuó con la planificación, el análisis y el problema, siguió por la etapa de desarrollo y finalmente cerró con la fase de implementación y pruebas.

Creación del modelo, todo un desafío

En ese sentido, lograron identificar serios retos que posteriormente pudieron sortear con el trabajo en equipo, explicó Maldonado.

“Existe una librería que se llama Tensor Flow. Ella se encarga de identificar objetos. El principal reto fue que debimos tomar esta librería y adaptarla a nuestro enfoque, para que ya no detectara objetos, sino que se alimentara de nuestro Data Set”, aseguró.

Otro desafío que recordó fue la creación del modelo, por el hecho de factores que intervienen, como la luz y la posición, debido a que debían tomar fotografías en distintos ángulos, toda vez que de eso depende el porcentaje de acierto y predicción.

En esa etapa de pruebas, obtenían 12 por ciento de acierto, actualmente registran un 70 por ciento y dicen que siguen construyéndolo para lograr en un futuro a corto plazo un porcentaje de al menos el 90 por ciento.

Buscan fortalecer el banco de imágenes

Los jóvenes buscan ahora fortalecer el proyecto con asesorías, cubrir un mayor número de señas, a través de escuelas o fundaciones con personas en condición de discapacidad auditiva que les proporcione y fortalezca el banco de imágenes, y así crecer el Data Set.

“Estamos intentando tener ese acercamiento con organizaciones que nos puedan brindar esa asesoría en cuanto a nuestro Data Set, para verificar que la información que tenemos sea la correcta y poder publicarla lo más pronto posible”, cerró Maldonado.

Los jóvenes le apuestan a brindar una aplicación móvil gratuita, que funcione con conexión a internet para acercar a las personas en condición de discapacidad en el ámbito social.

FUENTE: EL TIEMPO