Una nueva técnica de imágenes desarrollada por investigadores del MIT podría permitir que los robots de control de calidad de un almacén miren a través de una caja de cartón y vean que el asa de una taza enterrada bajo bolitas de embalaje está rota.

Su enfoque aprovecha señales de ondas milimétricas (mmWave), el mismo tipo de señales utilizadas en Wi-Fi, para crear reconstrucciones 3D precisas de objetos que están ocultos a la vista.

Las ondas pueden atravesar obstáculos comunes, como contenedores de plástico o paredes interiores, y reflejarse en objetos ocultos. El sistema, llamado mmNorm, recopila estas reflexiones y las introduce en un algoritmo que estima la forma de la superficie del objeto.

Este nuevo enfoque logró una precisión de reconstrucción del 96 % en una gama de objetos cotidianos con formas complejas y curvas, como cubiertos y un taladro eléctrico. Los métodos de referencia de vanguardia solo alcanzaban una precisión del 78 %.

Además, mmNorm no requiere ancho de banda adicional para lograr una precisión tan alta. Esta eficiencia podría permitir que el método se utilice en una amplia gama de entornos, desde fábricas hasta residencias de ancianos.

Por ejemplo, mmNorm podría permitir a los robots que trabajan en una fábrica o en un hogar distinguir entre herramientas ocultas en un cajón e identificar sus mangos, para que puedan agarrar y manipular los objetos de forma más eficiente sin causar daños.

“Este problema nos ha interesado desde hace tiempo, pero nos hemos topado con un obstáculo porque los métodos anteriores, aunque matemáticamente elegantes, no nos llevaban adonde necesitábamos. Necesitábamos encontrar una forma muy diferente de utilizar estas señales, a la que se ha empleado durante más de medio siglo, para descubrir nuevos tipos de aplicaciones”, afirma Fadel Adib, profesor asociado del Departamento de Ingeniería Eléctrica y Ciencias de la Computación, director del grupo de Cinética de Señales del Media Lab del MIT y autor principal de un artículo sobre mmNorm.

Adib colabora en el artículo con las asistentes de investigación Laura Dodds, autora principal, Tara Boroushaki y el exinvestigador posdoctoral Kaichen Zhou. La investigación se presentó recientemente en la Conferencia Internacional Anual sobre Sistemas, Aplicaciones y Servicios Móviles.

Reflexionando sobre las reflexiones

Las técnicas de radar tradicionales envían señales de ondas milimétricas y reciben reflejos del entorno para detectar objetos ocultos o distantes, una técnica denominada retroproyección.

Este método funciona bien para objetos grandes, como un avión oculto por las nubes, pero la resolución de la imagen es demasiado baja para elementos pequeños, como utensilios de cocina que un robot podría necesitar identificar.

Al estudiar este problema, los investigadores del MIT se dieron cuenta de que las técnicas de retroproyección existentes ignoran una propiedad importante conocida como especularidad. Cuando un sistema de radar transmite ondas milimétricas, casi todas las superficies que inciden actúan como un espejo, generando reflejos especulares.

Si una superficie apunta hacia la antena, la señal se reflejará en el objeto hacia la antena, pero si la superficie apunta en una dirección diferente, el reflejo se alejará del radar y no será recibido.

“Basándonos en la especularidad, nuestra idea es intentar estimar no sólo la ubicación de un reflejo en el entorno, sino también la dirección de la superficie en ese punto”, dice Dodds.

Desarrollaron mmNorm para estimar lo que se denomina una normal de superficie, que es la dirección de una superficie en un punto particular del espacio, y utilizan estas estimaciones para reconstruir la curvatura de la superficie en ese punto.

Al combinar estimaciones normales de superficie en cada punto del espacio, mmNorm utiliza una formulación matemática especial para reconstruir el objeto 3D.

Los investigadores crearon un prototipo mmNorm conectando un radar a un brazo robótico, que toma mediciones continuamente mientras se mueve alrededor de un objeto oculto. El sistema compara la intensidad de las señales que recibe en diferentes puntos para estimar la curvatura de la superficie del objeto.

Por ejemplo, la antena recibirá los reflejos más fuertes de una superficie apuntada directamente hacia ella y señales más débiles de superficies que no estén orientadas directamente hacia la antena.

Debido a que varias antenas en el radar reciben cierta cantidad de reflexión, cada antena “vota” sobre la dirección de la normal a la superficie en función de la intensidad de la señal que recibe.

“Algunas antenas pueden tener un voto muy fuerte, otras pueden tener un voto muy débil, y podemos combinar todos los votos para producir una normal de superficie acordada por todas las ubicaciones de las antenas”, dice Dodds.

Además, dado que mmNorm estima la normal de la superficie desde todos los puntos del espacio, genera numerosas superficies posibles. Para encontrar la correcta, los investigadores adoptaron técnicas de gráficos por computadora y crearon una función 3D que selecciona la superficie más representativa de las señales recibidas. Utilizan esto para generar una reconstrucción 3D final.

Detalles más finos

El equipo probó la capacidad de mmNorm para reconstruir más de 60 objetos con formas complejas, como el asa y la curva de una taza. Generó reconstrucciones con un 40 % menos de error que los métodos más modernos, a la vez que estimó la posición de un objeto con mayor precisión.

Su nueva técnica también puede distinguir entre varios objetos, como un tenedor, un cuchillo y una cuchara escondidos en la misma caja. También funcionó bien con objetos de diversos materiales, como madera, metal, plástico, goma y vidrio, así como con combinaciones de materiales, pero no funciona con objetos ocultos tras metal o paredes muy gruesas.

«Nuestros resultados cualitativos hablan por sí solos. Y la magnitud de la mejora observada facilita el desarrollo de aplicaciones que utilizan estas reconstrucciones 3D de alta resolución para nuevas tareas», afirma Boroushaki.

Por ejemplo, un robot puede distinguir entre varias herramientas en una caja, determinar la forma y ubicación precisas del mango de un martillo y planificar su uso. También se podría usar mmNorm con un visor de realidad aumentada, lo que permitiría a un trabajador de fábrica ver imágenes realistas de objetos completamente ocultos.

También podría incorporarse a aplicaciones de seguridad y defensa existentes, generando reconstrucciones más precisas de objetos ocultos en los escáneres de seguridad de los aeropuertos o durante el reconocimiento militar.

Los investigadores desean explorar estas y otras posibles aplicaciones en trabajos futuros. También buscan mejorar la resolución de su técnica, optimizar su rendimiento con objetos menos reflectantes y permitir que las ondas milimétricas capturen imágenes eficazmente a través de oclusiones más gruesas.

Este trabajo realmente representa un cambio de paradigma en nuestra forma de pensar sobre estas señales y este proceso de reconstrucción 3D. Nos entusiasma ver cómo los conocimientos adquiridos aquí pueden tener un gran impacto, afirma Dodds.

Este trabajo cuenta con el apoyo, en parte, de la National Science Foundation, el MIT Media Lab y Microsoft.

​Autor​