Seeing Al, una nueva app que ayuda a ciegos a ver objetos y documentos

Millones de ciegos o personas con discapacidad visual grave pueden utilizar ya las nuevas versiones en español, alemán, francés, japonés y holandés de Seeing AI, una aplicación de Microsoft que describe en voz alta escenas y fotos para que personas con ceguera puedan identificar objetos e incluso leer documentos.

Micosoft y Grupo Social ONCE

El desarrollo en España de esta aplicación ha sido posible gracias a la colaboración entre Microsoft y el Grupo Social ONCE. Ambas han unido su conocimiento y experiencia para adaptar la aplicación y hacerla más accesible y útil para personas con discapacidad visual.

El ingeniero de Microsoft jefe del proyecto de esta aplicación, Saqib Shaikh, explica a Servimedia que el desarrollo de la aplicación empezó "como un hobby" porque él también es ciego. "Mi objetivo fue utilizar la inteligencia artificial para ayudar a las personas con discapacidad visual".

Funciones de Seeing Al

La aplicación dispone de distintos canales o modos que permiten la lectura de textos breves y de etiquetas (mediante la cámara del teléfono). También el reconocimiento de códigos de barras, el escaneado y posterior lectura de documentos de mayor longitud (también de aquellos escritos a mano), la identificación de colores, la determinación de monedas y billetes (dólares, euros, libras...).

Incluso el reconocimiento facial, el calibrado de la luminosidad mediante pitidos, y la descripción de escenas, ya sean entornos naturales, fotografías tomadas con el teléfono o imágenes de otras aplicaciones como WhatsApp o Hotmail.

"Todo esto lo verbaliza en voz alta la App", y "por eso es tan importante el lanzamiento de las versiones en otros idiomas", apunta Shaikh, que "era algo que los usuarios nos pedían desde el principio".

Desde que Seeing AI salió al mercado, todos los usuarios han podido comunicar sus quejas y sugerencias de mejora al equipo de desarrolladores, "siempre con el propósito de mejorar la App y adaptarnos mejor a las demandas".

Ya se han hecho 20 millones de tareas con la aplicación

Según Shaikh, "nos gusta hablar del impacto de la tecnología en la vida de la gente, así que sabemos que desde la salida de Seeing AI, nuestros usuarios han realizado 20 millones de tareas con esta App".

A nivel personal, asegura que "fue emocionante la primera vez que Seing AI le describió una escena". La aplicación guía al usuario para enfocar bien y obtener una buena foto o un escaneado correcto. A partir de ahí, es capaz de reconocer lo que se ve y describirlo, con la ventaja de que se puede personalizar.

Seeing AI "no solo te cuenta que en una habitación hay dos sillas, una mesa, tres personas de entre 40 y 50 años y un niño de unos 10, sino que puede ir más allá y narrar que en la habitación están tu padre, tu hijo y otras dos personas desconocidas, vestidas de tal o cual manera", aclara el experto. "Sólo hay que añadir la información en el móvil".

Descripción de escenas y personas

Del mismo modo, la aplicación reconoce personas y lugares conocidos, de modo que si ha de describir un meme, es capaz de afinar y señalar que la imagen, por poner un ejemplo, muestra a Pablo Iglesias y al presidente Pedro Sánchez dándose la mano.

Gracias a esta aplicación, "hay ciegos que pueden controlar si todos los estudiantes han entrado en clase", o algo tan simple como "distinguir el bote de gel del de champú en un hotel".

Microsoft ha contado con la colaboración de ONCE y Fundación ONCE para el desarrollo de la versión en español de Seeing AI. Cristian Sáinz, responsable de las unidades de puesto de trabajo digital y de accesibilidad de la ONCE, fue una de las personas implicadas en el proyecto desde el inicio.

Mano a mano con Microsoft

"Era algo que llevábamos demandando a Microsoft desde hace tiempo", señala Sáinz, así que "en cuanto nos lo propusieron, nos pusimos a ello". "Nuestra participación consistió básicamente en la revisión del vocabulario. Hemos hecho muchas aportaciones para mejorar la claridad de los textos y las descripciones, a fin de adaptarlas al uso común del idioma". Estas sugerencias fueron enviadas a los desarrolladores de Microsoft, que "son los encargados finales de incluirlas en la nueva versión".

Sáinz utiliza la aplicación desde que fue lanzada en 2017. Confiesa que le ha resultado "muy útil", aunque admite que "si no hablas inglés, hay muchas cosas que te puedes perder". Al principio, bastante gente se descargó esta App en España", recuerda, "pero luego hubo un parón".

"Por eso, su lanzamiento en castellano nos permitirá llegar a nuevos nichos de mercado y a millones de nuevos usuarios". Ese es el objetivo de Microsoft y la ONCE, según destacó.

Seeing Al en la cocina

Aficionado a la cocina y antiguo propietario de un restaurante, Sáinz señala que una de las funciones que más le gustan de Seeing AI es que puede usarla para saber las medidas exactas que necesita cuando cocina. Tiene una báscula que enuncia en voz alta los pesos de los alimentos, pero solo en intervalos de cinco gramos. 

“Hay recetas en las que necesito un gramo, no cinco", destaca, y "ahora, puedo obtener esa información en unos segundos. Solo tengo que apuntar el móvil con el canal de texto breve de Seeing AI a la pantalla de la báscula y la aplicación la lee en voz alta. De este modo, he podido empezar a usar recetas que antes no podía hacer”, comenta satisfecho.

Lectura de fotografía

Otra función de Seeing AI desarrollada a petición de los usuarios fue la posibilidad de explorar de manera táctil las fotos familiares o de las redes sociales y oír descripciones de las imágenes. Con ella, “es muy sencillo saber qué información contienen las fotos”, confirma Sáinz. Solo hay que "deslizar el dedo por la pantalla y la aplicación describe dónde están los objetos en una escena”.

Microsoft pretende demostrar con esta innovación que está firmemente comprometida con el desarrollo de tecnologías accesibles, a fin de mejorar la autonomía de las personas con discapacidad. Por ello, colabora con ONCE y Fundación ONCE desde hace 20 años.

En 2018, Microsoft anunció AI for Accessibility, una iniciativa global que prevé una inversión de 25 millones de dólares en 5 años para el desarrollo de tecnologías y soluciones de accesibilidad que aprovechen el poder de la Inteligencia Artificial para apoyar a los más de mil millones de personas en el mundo con algún tipo de discapacidad.