¿Cómo suena un atardecer? ¿O tonos ascendentes de rojo? Ahora puede escuchar a través de Sonification Toolkit, un prototipo pulido y en funcionamiento de una iniciativa de un año impulsada por la imaginación y la experiencia combinadas de dos docenas de estudiantes universitarios del MIT.

El último gran esfuerzo del Laboratorio de Humanidades Digitales (DH Lab) del MIT comenzó la primavera pasada con una idea inicial de Evan Ziporyn, miembro de la facultad del laboratorio y Profesor Distinguido de Música Kenan Sahin. Ziporyn reflexiona que la beca de la facultad de DH Lab fue una transición fortuita, ya que estaba considerando cómo ampliar su proyecto de sonificación anterior, que implicaba convertir intrincadas telarañas en instalaciones de audio inmersivas.

El prototipo de sonificación recientemente lanzado, un trabajo en progreso con capacidades de vanguardia, es una sólida incursión exploratoria en las posibilidades de sonificación. El laboratorio tiene muchas más ambiciones para el conjunto de herramientas: entre las más emocionantes se encuentra una aplicación web que transformará casi cualquier cosa digital, desde datos numéricos hasta dibujos, en sonido.

Verdadera sonificación

La zonificación es el proceso de traducir un objeto o la estructura de un conjunto de datos en sonido, usando computadoras. Para tomar un ejemplo simple, piense en un conjunto de escaleras (como las del Museo de Ciencias de Boston) con cada paso asignado a una nota en la escala mayor. El movimiento a lo largo de la escalera produce notas respectivas. Pero, ¿es esto realmente sonificación? Ziporyn hace una distinción importante: busca producir sonido fielmente basándose en los atributos del objeto en sí, no imponer sonido a un objeto.

Él explica: “La escalera es un objeto humano, como lo es una escala mayor. La escalera no es literalmente análoga a una escala mayor, es solo que esa escala mayor suena bien para muchas personas”. La escalera en sí no está siendo sonificada, solo se le asignan valores que dan un resultado agradable y digerible. “Lo que estábamos tratando de hacer al usar las relaciones numéricas puras entre [material y sonido] es alejarnos de eso… para asegurarnos de obtener un resultado que realmente refleje la estructura del objeto en lugar de una versión humanizada y apetecible. de eso."

El conjunto de herramientas incluye cinco vías de sonificación con las que los usuarios pueden experimentar. Los equipos de estudiantes investigadores crearon herramientas para sonificar datos de tiempo, polígonos, colores, gestos y formas de texto, creando un software accesible para analizar el objeto digital y permitir que los usuarios no capacitados escuchen y jueguen.   

El alcance imaginativo del proyecto fue un gran atractivo para la estudiante de segundo año Jessica Boye-Doe, estudiante de computación y cognición. “Había pensado en la idea de convertir artículos digitales en sonido antes”, dice, “pero no sabía cuánta investigación había ya sobre la sonificación. Vi este UROP como una forma de explorar esta aplicación de la tecnología en la música”.

El ciclo de vida del Proyecto de Sonificación se ha desarrollado en el Laboratorio DH durante el transcurso de la beca de la facultad de Ziporyn. Cuarenta estudiantes del Programa de Oportunidades de Investigación de Pregrado (UROP), junto con el personal docente del laboratorio, se reunieron para el semestre de otoño, siguiendo el competitivo proceso de selección de profesores en la primavera y los pasos iniciales del proyecto durante el verano.

Instituto Tecnológico de Massachusetts (MIT) · ¿Cómo suena un amanecer y un atardecer? Escuchalo.

Utilizando el nuevo conjunto de herramientas de sonificación, Moises Trejo, estudiante de último año, convirtió en música las horas anuales de amaneceres y atardeceres en un lugar. El tono más bajo es la hora del amanecer y el tono más alto es la hora del atardecer. El amanecer y el atardecer se alejan gradualmente entre sí a medida que los días se hacen más largos y luego se acercan entre sí a medida que los días se acortan.

Curiosidad sin fin

Peihua Huang, estudiante de segundo año con especialización en informática e ingeniería, se incorporó pronto al proyecto, después de descubrir el laboratorio DH durante el evento de orientación del primer año del laboratorio. Ayudó a construir la infraestructura inicial del proyecto durante el verano y se quedó en el semestre de otoño para construir y pulir la aplicación "Gestures to Sound", una interfaz que permite a los usuarios hacer gestos con el cursor que luego se transmutan en música.

“La intersección del laboratorio con las humanidades significó que, durante el desarrollo, pensamos en el proyecto a través de la lente de la disciplina de los profesores con los que estamos trabajando, así como de nuestra audiencia prevista”, dice Huang. “Como estudiante de informática, realmente valoro estas oportunidades para poner en práctica mis habilidades, trabajar en equipos pequeños y colaborar para crear un proyecto global”.

Ryaan Ahmed, director asociado e ingeniero de investigación sénior de DH Lab, conecta todas las piezas móviles del laboratorio, desde la lluvia de ideas con el profesorado hasta la organización de docenas de estudiantes de UROP. Proyectos como Sonification Toolkit revelan la gama rica y única de la programación de DH Lab. En el transcurso de los primeros cinco años del laboratorio, ha abordado tecnologías emergentes para estudiantes de idiomas, mejorando los análisis de archivos visuales, simulaciones sobre temas que afectan el desarrollo democrático en África y análisis computacional del lenguaje de género en novelas, entre otros proyectos. El nivel de creatividad y capacidad exigido por estos proyectos habla de las fortalezas multidisciplinarias y la curiosidad infinita de los estudiantes universitarios del MIT.

“Simplemente no hay muchas personas en el mundo que tengan este tipo de experiencia interdisciplinaria realmente profunda”, dice Ahmed. “Los estudiantes del laboratorio tienen el nivel de excelencia en ingeniería que se encuentra en el MIT, y también tienen una profunda seriedad e inversión en el lado humanístico de las cosas. Espero que estemos mostrando a nuestros estudiantes aquí que no tienen que elegir entre esos reinos: en realidad pueden integrarlos”.

Tecnólogos artísticos

La combinación de programación y artes fue lo que inicialmente atrajo a Grace Jau, estudiante de primer año, con especialización en informática e ingeniería, al DH Lab. Jau trabajó como estudiante investigador en Sonification Toolkit el otoño pasado.

“Como alguien a quien le encanta hacer arte y música”, dice Jau, “agradezco que trabajar en DH Lab me haya brindado la oportunidad de adquirir experiencia en mi campo técnico y al mismo tiempo conectarme con mis intereses en las humanidades”.

El amor por la informática y la música también atrajo a la estudiante de segundo año Emeka Echezona al laboratorio. Echezona, que se especializa en ingeniería eléctrica y ciencias de la computación, también toca la trompeta en el MIT Festival Jazz Ensemble. Reflexionando sobre Sonification Toolkit, dice: “Gran parte del trabajo que pusimos en el diseño y la codificación de los instrumentos para el kit de herramientas solo fue posible a través del conocimiento de diferentes campos. Incluso fuera del conjunto de herramientas en sí, aprendimos sobre conceptos musicales como la dinámica, el tono y el timbre desde la perspectiva de campos como la física”.

La conexión imaginativa con las artes y las humanidades a través de la tecnología explorada en Sonification Toolkit tiene muchas aplicaciones adicionales. Los UROP intercambiaron ideas sobre cómo sonificar pinturas, mapas y fotografías. ¿Cómo podría sonar la Mona Lisa? Con proyectos de sonificación recientes del MIT que llegan hasta el nivel de las proteínas y la energía de las partículas, los límites de esta forma de arte parecen ser solo los límites de la tecnología y la imaginación.

Este tipo de tecnología muestra otro aspecto de la innovación del MIT: el kit de herramientas de sonificación se trata de lo que se puede soñar y lograr con la perspectiva de las artes y las humanidades.  

“Tendremos una generación de tecnólogos mejor equipados para pensar en esas áreas sutiles y útilmente complejas que las humanidades son excelentes para abordar”, dice Ahmed, “pensando en cómo las tecnologías en las que están trabajando afectan a las personas y trayendo los matices de las artes, las ciencias sociales y las humanidades a su trabajo técnico”.