Background Image
Background Image

El autismo se asocia con problemas de atención, memoria y procesamiento de información. Para los niños con autismo es difícil recordar e identificar objetos reales. Los profesores brindan sugerencias cognitivas a los niños con autismo para redirigir su atención a la terapia de discriminación de objetos y así reducir el tiempo que los niños con autismo que pasan “fuera de la terapia”. Las intervenciones tecnológicas que proporcionan sugerencias visuales interactivas ayudan a los profesores a mantener a los estudiantes “en la tarea”. Sin embargo, estas herramientas aún carecen de realismo que ayude a los estudiantes a generalizar desde el aula a otros entornos. Por lo tanto, se necesita un nuevo tipo de soporte visual interactivo capaz de aumentar la forma física de un objeto tradicional con información digital. Una posible solución a este problema es el uso de la Realidad Aumentada (RA), debido a su capacidad para superponer información digital en objetos reales.

En este proyecto, desarrollamos MOBIS, una aplicación de realidad aumentada móvil que permite la interacción multimodal para orientar a los estudiantes con autismo durante el entrenamiento en la terapia de discriminación de objetos. El sistema utiliza un algoritmo basado en visión de reconocimiento de objetos para asociar sugerencias cognitivas visuales y verbales hacia el objeto que se está discriminando (es decir, el “objeto de interés”). MOBIS consta de tres interfaces: (1) uno corriendo en una tableta que los profesores utilizan para configurar la terapia y monitorear cada ensayo, (2) la segunda se ejecuta en un teléfono inteligente que un estudiante utiliza como un “visor” para descubrir sugerencias cognitivas visuales y verbales superpuestas sobre los objetos físicos reales, y (3) la tercera es una interfaz de usuario tangible (TUI) con acelerómetros que se le pueden poner a los objetos que se están discriminando para detectar gestos de interacción de los estudiantes y facilitara los profesores la captura de datos.

Los profesores usan la tableta para subir fotos de los objetos que se requieren en la terapia, y las etiquetas asociadas a las fotos y las fotos etiquetadas a las terapias. Para crear una nueva etiqueta, los profesores seleccionan el objeto y asocian una sugerencia visual (por ejemplo, un círculo) a un mensaje de texto y/o audio. Este mensaje se le mostrará al estudiante con autismo como una sugerencia superpuesta sobre el objeto que se detecte. Los maestros también usan la tableta para seleccionar el objeto que el estudiante tendrá que discriminar, el número de ensayos, y la cantidad de mensajes y recompensas disponibles por ensayo. Los profesores primero seleccionan el número de estudiantes que participarán en la terapia, ya que el sistema está preparado para múltiples usuarios. A continuación, el profesor selecciona el objeto que el alumno aprenderá a discriminar.

El Tag Search Engine ANS (ver 4.3.2), para mejorar el rendimiento, sólo toma en cuenta los objetos etiquetados que coinciden con el objeto seleccionado por el profesor. A continuación, el profesor selecciona el tipo de sugerencias, incluyendo las indicaciones visuales y de audio, vibración, y una combinación de los tres, que se proporcionarán a los estudiantes. El nivel de sugerencias dependerá del nivel de funcionalidad del estudiante y deberá desvanecerse cada vez que el estudiante ejecuta el ensayo sin necesidad de sugerencias cognitivas físicas. El contar con estas diferentes formas de visualización genera varios modos de interacción. El profesor también selecciona las recompensas asociadas a cada ensayo y también para la actividad completa. Por último, el profesor selecciona el número de ensayos por actividad, y se inicia la actividad. Esto activará el Cliente ANS que se ejecuta en el teléfono inteligente de los estudiantes.

Se realizó un estudio de evaluación de 7 semanas de Mobis en Pasitos con 10 estudiantes con autismo de baja funcionalidad y 3 profesores. Se evaluó la facilidad de uso, la utilidad y la eficacia del sistema para ayudar a los estudiantes con autismo a practicar su lenguaje y las habilidades cognitivas. Actualmente estamos analizando los datos recopilados, incluyendo entrevistas, videos, registros e informes de observaciones. Planeamos tener los resultados y el artículo de este proyecto a finales de año.

Responsable del proyecto: Dra. Mónica Elizabeth Tentori Espinosa

Publicaciones relacionadas a este proyecto:
– Escobedo, L., Tentori, M., Quintana, E., Favela, J., Garcia-Rosas, D. (2014) “Integrating the physical and the digital world to increase the attention of children with autism”. IEEE Pervasive Computing
– Quintana, E., Ibarra, C., Escobedo, L., Tentori, M. and Favela, J. (2012) “Object and gesture recognition to assist children with autism during the discrimination training”, CIARP ’12, Buenos Aires, Argentina


Galería

Realidad aumentada: soluciones tecnológicas contra el autismo

Ponemos a su disposición todos los archivos originales.
Para descargar las imágenes, favor de hacer clic en cada una de ellas.

Investigadores participantes