Los investigadores del MIT han construido un casco de realidad aumentada que le da al usuario una visión de rayos X.

El auricular combina la visión por computadora y la percepción inalámbrica para ubicar automáticamente un elemento específico que está oculto a la vista, tal vez dentro de una caja o debajo de una pila, y luego guía al usuario para recuperarlo.

El sistema utiliza señales de radiofrecuencia (RF), que pueden atravesar materiales comunes como cajas de cartón, contenedores de plástico o separadores de madera, para encontrar elementos ocultos que han sido etiquetados con etiquetas RFID, que reflejan las señales enviadas por una antena de RF.

El auricular dirige al usuario mientras camina por una habitación hacia la ubicación del artículo, que aparece como una esfera transparente en la interfaz de realidad aumentada (AR). Una vez que el artículo está en la mano del usuario, el auricular, llamado X-AR, verifica que haya recogido el objeto correcto.

Cuando los investigadores probaron X-AR en un entorno similar a un almacén, los auriculares pudieron localizar elementos ocultos con una precisión de 9,8 centímetros, en promedio. Y verificó que los usuarios recogieran el artículo correcto con un 96 por ciento de precisión.

X-AR podría ayudar a los trabajadores del almacén de comercio electrónico a encontrar rápidamente artículos en estantes desordenados o enterrados en cajas, o identificando el artículo exacto para un pedido cuando hay muchos objetos similares en el mismo contenedor. También podría usarse en una planta de fabricación para ayudar a los técnicos a ubicar las piezas correctas para ensamblar un producto.

“Todo nuestro objetivo con este proyecto era construir un sistema de realidad aumentada que le permita ver cosas que son invisibles, cosas que están en cajas o en las esquinas, y al hacerlo, puede guiarlo hacia ellas y realmente permitirle ver. el mundo físico en formas que antes no eran posibles”, dice Fadel Adib, profesor asociado en el Departamento de Ingeniería Eléctrica y Ciencias de la Computación, director del grupo Signal Kinetics en el Media Lab y autor principal de un artículo en X-AR.

Los coautores de Adib son los asistentes de investigación Tara Boroushaki, autora principal del artículo; Maisy Lam; Laura Dodds; y la ex postdoctoral Aline Eid, quien ahora es profesora asistente en la Universidad de Michigan. La investigación se presentará en el Simposio USENIX sobre diseño e implementación de sistemas en red.

Ampliación de un auricular AR

Miniatura de vídeoReproduce el video

Para crear un auricular de realidad aumentada con visión de rayos X, los investigadores primero tuvieron que equipar un auricular existente con una antena que pudiera comunicarse con elementos etiquetados con RFID. La mayoría de los sistemas de localización RFID utilizan múltiples antenas ubicadas a metros de distancia, pero los investigadores necesitaban una antena liviana que pudiera lograr un ancho de banda lo suficientemente alto para comunicarse con las etiquetas.

“Un gran desafío fue diseñar una antena que encajara en los auriculares sin cubrir ninguna de las cámaras ni obstruir su funcionamiento. Esto es muy importante, ya que necesitamos usar todas las especificaciones de la visera”, dice Eid.

El equipo tomó una antena de cuadro simple y liviana y experimentó reduciendo la antena (cambiando gradualmente su ancho) y agregando espacios, ambas técnicas que aumentan el ancho de banda. Dado que las antenas suelen funcionar al aire libre, los investigadores las optimizaron para enviar y recibir señales cuando se conectan a la visera de los auriculares.

Una vez que el equipo construyó una antena efectiva, se concentraron en usarla para localizar artículos con etiquetas RFID.

Aprovecharon una técnica conocida como radar de apertura sintética (SAR), que es similar a cómo los aviones captan imágenes de objetos en el suelo. X-AR toma medidas con su antena desde diferentes puntos de vista a medida que el usuario se mueve por la habitación, luego combina esas medidas. De esta forma, actúa como un conjunto de antenas donde se combinan las mediciones de múltiples antenas para localizar un dispositivo.

X-AR utiliza datos visuales de la capacidad de seguimiento automático de los auriculares para crear un mapa del entorno y determinar su ubicación dentro de ese entorno. A medida que el usuario camina, calcula la probabilidad de la etiqueta RFID en cada ubicación. La probabilidad será mayor en la ubicación exacta de la etiqueta, por lo que utiliza esta información para concentrarse en el objeto oculto.

“Si bien presentó un desafío cuando estábamos diseñando el sistema, descubrimos en nuestros experimentos que en realidad funciona bien con el movimiento humano natural. Debido a que los humanos se mueven mucho, nos permite tomar medidas de muchos lugares diferentes y localizar con precisión un elemento”, dice Dodds.

Una vez que X-AR ha localizado el elemento y el usuario lo recoge, el visor debe verificar que el usuario agarró el objeto correcto. Pero ahora el usuario está parado y la antena del auricular no se mueve, por lo que no puede usar SAR para localizar la etiqueta.

Sin embargo, cuando el usuario recoge el artículo, la etiqueta RFID se mueve con él. X-AR puede medir el movimiento de la etiqueta RFID y aprovechar la capacidad de seguimiento manual del auricular para localizar el artículo en la mano del usuario. Luego verifica que la etiqueta esté enviando las señales de RF correctas para verificar que sea el objeto correcto.

Los investigadores utilizaron las capacidades de visualización holográfica de los auriculares para mostrar esta información al usuario de una manera sencilla. Una vez que el usuario se pone los auriculares, utiliza los menús para seleccionar un objeto de una base de datos de elementos etiquetados. Una vez localizado el objeto, se rodea de una esfera transparente para que el usuario pueda ver dónde se encuentra en la habitación. Luego, el dispositivo proyecta la trayectoria hacia ese elemento en forma de pasos en el piso, que pueden actualizarse dinámicamente a medida que el usuario camina.

“Resumimos todos los aspectos técnicos para poder brindar una experiencia clara y sin interrupciones para el usuario, lo que sería especialmente importante si alguien instalara esto en un entorno de almacén o en una casa inteligente”, dice Lam.

Probando los auriculares

Para probar X-AR, los investigadores crearon un almacén simulado llenando estantes con cajas de cartón y contenedores de plástico, y colocando artículos con etiquetas RFID en su interior.

Descubrieron que X-AR puede guiar al usuario hacia un elemento específico con menos de 10 centímetros de error, lo que significa que, en promedio, el elemento estaba ubicado a menos de 10 centímetros de donde X-AR dirigió al usuario. Los métodos de referencia que probaron los investigadores tenían un error medio de 25 a 35 centímetros.

También encontraron que verificó correctamente que el usuario había elegido el artículo correcto el 98,9 por ciento de las veces. Esto significa que X-AR puede reducir los errores de selección en un 98,9 por ciento. Incluso tuvo una precisión del 91,9 por ciento cuando el artículo aún estaba dentro de una caja.

“El sistema no necesita ver visualmente el artículo para verificar que haya recogido el artículo correcto. Si tiene 10 teléfonos diferentes en un paquete similar, es posible que no pueda notar la diferencia entre ellos, pero puede guiarlo para elegir el correcto”, dice Boroushaki.

Ahora que han demostrado el éxito de X-AR, los investigadores planean explorar cómo se podrían usar diferentes modalidades de detección, como WiFi, tecnología mmWave u ondas de terahercios, para mejorar sus capacidades de visualización e interacción. También podrían mejorar la antena para que su alcance pueda ir más allá de los 3 metros y extender el sistema para que lo usen múltiples auriculares coordinados.

“Debido a que no existe nada como esto hoy en día, tuvimos que descubrir cómo construir un tipo de sistema completamente nuevo de principio a fin”, dice Adib. “En realidad, lo que hemos ideado es un marco. Hay muchas contribuciones técnicas, pero también es un modelo de cómo diseñaría un auricular AR con visión de rayos X en el futuro”.

“Este documento da un importante paso adelante en el futuro de los sistemas AR, haciéndolos funcionar en escenarios sin línea de visión”, dice Ranveer Chandra, director gerente de investigación de la industria en Microsoft, que no participó en este trabajo. “Utiliza una técnica muy inteligente para aprovechar la detección de RF para aumentar las capacidades de visión por computadora de los sistemas AR existentes. Esto puede impulsar las aplicaciones de los sistemas AR a escenarios que no existían antes, como en el comercio minorista, la fabricación o las nuevas aplicaciones de capacitación”.

Esta investigación fue apoyada, en parte, por la Fundación Nacional de Ciencias, la Fundación Sloan y el Laboratorio de Medios del MIT.