Se considera un sistema en el que los agentes (UAVs) deben descubrir cooperativamente puntos de interés (es decir, árboles en llamas, características geográficas) que evolucionan sobre una cuadrícula. El objetivo es localizar la mayor cantidad posible de puntos de interés en el menor tiempo posible. Hay dos problemas principales: un problema de control, donde los agentes deben determinar colectivamente la acción óptima, y un problema de comunicación, donde los agentes deben compartir sus estados locales e inferir un estado global común. Ambos problemas se vuelven intratables cuando el número de agentes es grande. Este artículo de revisión/concepto recopila una amplia selección de trabajos en la literatura que apuntan a una posible solución: una arquitectura unificada de control/comunicación dentro del marco del aprendizaje por refuerzo. Dos componentes de esta arquitectura son la estructura interactiva local en el espacio de estados y el agrupamiento jerárquico multinivel para la comunicación a nivel del sistema. El primero mitiga la complejidad del problema de control y el segundo se adapta a las limitaciones fundamentales de rendimiento en redes inalámbricas. Se discuten los desafíos de aplicar el aprendizaje por refuerzo a sistemas multiagente. Se explora el papel del agrupamiento en la comunicación entre múltiples agentes. Se sugieren direcciones de investigación para unificar estos componentes.