Cómo un ingeniero ciego desarrolló una aplicación de inteligencia artificial para ayudar a las personas con pérdida de visión | Mejor salud cada día con la humanidad

¿Es una lata de frijoles o tomates? Es fácil si puede ver la etiqueta, pero imagínese si fuera ciego o deficiente visual, ¿podría notar la diferencia? Y ahora piensa, ¿cómo distinguirías entre analgésicos u otras pastillas sin poder ver ni leer? Casi una de cada cinco personas ha tomado por error una dosis incorrecta porque no han podido leer el empaque, sugiere una investigación de la compañía de salud del consumidor Haleon.

“Como humanos, nos gusta poder entender el mundo que nos rodea”, dice Saqib Shaikh, gerente de ingeniería y líder de producto de Microsoft, quien ha creado una tecnología que ayuda a descifrar el mundo visual y escrito para las personas ciegas o con problemas de visión. .

Shaikh, que se quedó ciego a la edad de siete años, desarrolló una aplicación para Microsoft llamada Seeing AI para ayudar a las personas ciegas a navegar la vida cotidiana.. Cuando la cámara de un teléfono apunta a un objeto, la aplicación utiliza inteligencia artificial (IA) para describirlo de forma audible. Puede narrar situaciones de la vida real, como describir a alguien que pasa caminando, por ejemplo, y leer texto, como un menú.

Ahora Shaikh ha centrado su atención en el tema de la salud y los desafíos relacionados con el empaque. Ha ayudado a la empresa de salud del consumidor Haleon a adaptar la aplicación Seeing AI, lanzada por primera vez en 2017, para que funcione sin problemas con sus productos de salud y bienestar. Al apuntar un teléfono al código de barras de un artículo, una persona ahora puede escuchar una descripción y encontrar fácilmente información sobre la dosis, el sabor o cómo usar un producto. “Nadie quiere esperar a que alguien le ayude a leer el paquete de analgésicos o un producto para el cuidado de la salud”, dice.

Al escanear un código de barras en un producto de salud, la aplicación puede leer información como la dosis. Fotografía: d3sign/Getty Images

Se ha realizado un gran esfuerzo entre bastidores para cargar información específica de 1500 productos en una base de datos, dice Tamara Rogers, directora de marketing de Haleon. La investigación de la compañía revela que más de nueve de cada 10 (94%) personas sienten que es importante que todos puedan acceder a la información en las etiquetas y las instrucciones de los productos de salud, y que la alfabetización es una barrera importante.

“El lenguaje médico es bastante desafiante y no todos pueden leer o seguir información e instrucciones complicadas”, dice Rogers.

Ella agrega: “Queremos hacer nuestra parte para la inclusión. La capacidad de manejar su salud de manera independiente es importante. Nos fijamos el objetivo de llegar a 50 millones de personas para 2025 y apoyarlas para que tengan una mejor salud todos los días”.

Si bien la aplicación Seeing AI ya lee el texto, su último refinamiento simplifica la búsqueda de la información. El empaque a menudo no se lee como un libro y el texto se puede confundir. Con señales de audio, la aplicación guía a los usuarios hacia el código de barras en el empaque del producto para alinear el código con la cámara del dispositivo y brinda detalles clave con un simple toque. “Hemos hecho que sea más fácil saltar entre diferentes tipos de información”, dice Shaikh.

662718 GSK Tamara Rogers COL 01 ALTA RES.
Tamara Rogers, directora de marketing de Haleon

Y aunque la tecnología surgió originalmente para ayudar a las personas ciegas, también ha demostrado ser un salvavidas para las personas que tienen dificultades para leer o que no tienen el inglés como primera lengua, dice Rogers. En el Reino Unido, unos 2 millones de personas son ciegas o tienen baja visión, según muestran las cifras del NHS, y más de 8,5 millones tienen dificultades para leer, según el National Literacy Trust. “La aplicación le habla a usted: puede usarla en casa o cuando va de compras”, dice Rogers. “Hay un montón de personas que son cuidadores, o personas con discapacidad visual, o que no pueden leer letra pequeña que se beneficiarán”.

Lanzada el 13 de octubre para coincidir con el Día Mundial de la Vista, la aplicación actualizada ahora está disponible gratuitamente en dispositivos Apple, y Microsoft también está dando el paso importante para que Seeing AI esté disponible para los usuarios de Android en el futuro.

La colaboración entre Microsoft y Haleon es un hito en el camino hacia una mayor inclusión, dice Shaikh. A lo largo de los años, ha experimentado de primera mano la libertad que brinda la tecnología, desde la computadora del aula que primero lee el texto, hasta su propio software actual. “Vi en la escuela cómo la tecnología podía mejorar vidas y ayudar a nivelar el campo de juego”.

Cuando creó Seeing AI como un proyecto paralelo mientras trabajaba en Microsoft, tuvo la perspectiva de saber lo que se necesitaba. Puede ayudar a las personas a distinguir entre denominaciones de billetes, describir una calle principal y reconocer a un amigo. También puede describir imágenes, lo que a su vez permite a las personas ciegas participar más plenamente en las charlas sociales en línea. “Y eso ayuda con la inclusión social”, dice Shaikh. “Ahora realmente estamos usando lo último en inteligencia artificial y realidad aumentada para ayudar a las personas con discapacidades”.

Continúa: “Piense en esta tecnología como un pequeño amigo en su hombro, susurrando en su oído a medida que avanza en su vida. Ese es el poder de la IA. Estamos tomando los últimos avances en tecnología y ciencia para abordar los problemas que la gente encuentra en su vida diaria. Te da autonomía, independencia”.

Haleon tiene como objetivo implementar la aplicación en más mercados internacionales y otros idiomas. Como tecnología de código abierto, otras empresas de bienes de consumo podrían eventualmente subir sus marcas, dice Rogers. “Y luego se convertirá en un recurso aún mejor para aquellos que tienen problemas de visión o [have] cuestiones de alfabetización”.

Descubra cómo Haleon hace que el etiquetado sanitario sea accesible para todos. Descarga Microsoft Seeing AI aplicación gratuita de la App Store de Apple