Los científicos ambientales utilizan cada vez más enormes modelos de inteligencia artificial para realizar predicciones sobre los cambios en el tiempo y el clima, pero un nuevo estudio realizado por investigadores del MIT muestra que los modelos más grandes no siempre son mejores.

El equipo demuestra que, en ciertos escenarios climáticos, modelos mucho más simples basados ​​en la física pueden generar predicciones más precisas que los modelos de aprendizaje profundo de última generación.

Su análisis también revela que una técnica de evaluación comparativa, comúnmente utilizada para evaluar técnicas de aprendizaje automático para predicciones climáticas, puede verse distorsionada por variaciones naturales en los datos, como las fluctuaciones en los patrones climáticos. Esto podría llevar a creer que un modelo de aprendizaje profundo realiza predicciones más precisas, cuando no es así.

Los investigadores desarrollaron una forma más sólida de evaluar estas técnicas, que muestra que, si bien los modelos simples son más precisos al estimar las temperaturas superficiales regionales, los enfoques de aprendizaje profundo pueden ser la mejor opción para estimar las precipitaciones locales.

Utilizaron estos resultados para mejorar una herramienta de simulación conocida como emulador climático, que puede simular rápidamente el efecto de las actividades humanas en el clima futuro.

Los investigadores consideran su trabajo como una advertencia sobre el riesgo de implementar grandes modelos de IA para la ciencia del clima. Si bien los modelos de aprendizaje profundo han demostrado un éxito increíble en ámbitos como el lenguaje natural, la ciencia del clima contiene un conjunto comprobado de leyes físicas y aproximaciones, y el desafío reside en cómo incorporarlas a los modelos de IA.

“Estamos intentando desarrollar modelos que sean útiles y relevantes para los aspectos que los responsables de la toma de decisiones necesitan en el futuro al tomar decisiones sobre políticas climáticas. Si bien puede resultar atractivo utilizar el modelo de aprendizaje automático más reciente y de visión global para un problema climático, este estudio demuestra que es importante y útil analizar con perspectiva los fundamentos del problema”, afirma Noelle Selin, autora principal del estudio y profesora del Instituto de Datos, Sistemas y Sociedad (IDSS) del MIT y del Departamento de Ciencias de la Tierra, Atmosféricas y Planetarias (EAPS).

Los coautores de Selin son el autor principal Björn Lütjens, exinvestigador posdoctoral de la EAPS y actual científico investigador de IBM Research; el autor principal Raffaele Ferrari, profesor de Oceanografía Cecil e Ida Green en la EAPS y codirector del Centro Lorenz; y Duncan Watson-Parris, profesor adjunto de la Universidad de California en San Diego. Selin y Ferrari también son coinvestigadores principales del proyecto Bringing Computation to the Climate Challenge, del cual surgió esta investigación. El artículo se publica hoy en la revista Journal of Advances in Modeling Earth Systems.

Comparación de emuladores

Debido a que el clima de la Tierra es tan complejo, ejecutar un modelo climático de última generación para predecir cómo los niveles de contaminación afectarán factores ambientales como la temperatura puede llevar semanas en las supercomputadoras más poderosas del mundo.

Los científicos suelen crear emuladores climáticos, aproximaciones más sencillas de un modelo climático de vanguardia, que son más rápidas y accesibles. Un responsable de políticas podría usar un emulador climático para ver cómo las suposiciones alternativas sobre las emisiones de gases de efecto invernadero afectarían las temperaturas futuras, lo que le ayudaría a desarrollar regulaciones.

Pero un emulador no es muy útil si realiza predicciones inexactas sobre los impactos locales del cambio climático. Si bien el aprendizaje profundo se ha vuelto cada vez más popular para la emulación, pocos estudios han explorado si estos modelos funcionan mejor que los enfoques de eficacia probada.

Los investigadores del MIT realizaron un estudio de este tipo. Compararon una técnica tradicional llamada escalamiento de patrones lineales (LPS) con un modelo de aprendizaje profundo utilizando un conjunto de datos de referencia común para evaluar emuladores climáticos.

Sus resultados mostraron que LPS superó a los modelos de aprendizaje profundo en la predicción de casi todos los parámetros que probaron, incluida la temperatura y la precipitación.

“Los métodos de IA a gran escala resultan muy atractivos para los científicos, pero rara vez resuelven un problema completamente nuevo, por lo que es necesario implementar primero una solución existente para descubrir si el enfoque complejo de aprendizaje automático realmente la mejora”, afirma Lütjens.

Algunos resultados iniciales parecían contradecir el conocimiento del dominio de los investigadores. El potente modelo de aprendizaje profundo debería haber sido más preciso al realizar predicciones sobre la precipitación, ya que estos datos no siguen un patrón lineal.

Descubrieron que la alta variabilidad natural en las ejecuciones de modelos climáticos puede provocar un rendimiento deficiente del modelo de aprendizaje profundo ante oscilaciones impredecibles a largo plazo, como El Niño/La Niña. Esto sesga las puntuaciones de referencia a favor de LPS, que promedia dichas oscilaciones.

Construyendo una nueva evaluación

A partir de ahí, los investigadores elaboraron una nueva evaluación con más datos que abordan la variabilidad climática natural. Con esta nueva evaluación, el modelo de aprendizaje profundo tuvo un rendimiento ligeramente superior al de LPS en la precipitación local, pero LPS fue aún más preciso en las predicciones de temperatura.

“Es importante utilizar la herramienta de modelado adecuada para el problema, pero para ello también es necesario plantear el problema correctamente desde el principio”, afirma Selin.

Basándose en estos resultados, los investigadores incorporaron LPS en una plataforma de emulación climática para predecir cambios de temperatura locales en diferentes escenarios de emisiones.

No abogamos por que el LPS deba ser siempre el objetivo. Aún presenta limitaciones. Por ejemplo, el LPS no predice la variabilidad ni los fenómenos meteorológicos extremos, añade Ferrari.

Más bien, esperan que sus resultados enfatizen la necesidad de desarrollar mejores técnicas de evaluación comparativa, que podrían proporcionar un panorama más completo de qué técnica de emulación climática es la más adecuada para una situación particular.

“Con un punto de referencia de emulación climática mejorado, podríamos utilizar métodos de aprendizaje automático más complejos para explorar problemas que actualmente son muy difíciles de abordar, como los impactos de los aerosoles o las estimaciones de precipitaciones extremas”, afirma Lütjens.

En última instancia, unas técnicas de evaluación comparativa más precisas ayudarán a garantizar que los responsables de las políticas tomen decisiones basadas en la mejor información disponible.

Los investigadores esperan que otros amplíen su análisis, quizás estudiando mejoras adicionales en los métodos y puntos de referencia de emulación climática. Dicha investigación podría explorar métricas orientadas al impacto, como indicadores de sequía y riesgo de incendios forestales, o nuevas variables como la velocidad regional del viento.

Esta investigación está financiada, en parte, por Schmidt Sciences, LLC, y es parte del equipo MIT Climate Grand Challenges para “Llevar la computación al desafío climático”.

​Autor​