En los últimos años, el uso de múltiples vehículos aéreos no tripulados (VANT) en diversas aplicaciones ha aumentado progresivamente gracias a los avances en la tecnología de sistemas multiagente, que permite la realización de tareas complejas que requieren habilidades cooperativas y coordinadas. En este artículo, las aplicaciones de múltiples VANT se agrupan en cinco clases según su tarea principal: cobertura, búsqueda y juego adversarial, descarga computacional, comunicación y navegación orientada a objetivos. Al emplear un enfoque de revisión sistemática, seleccionamos los trabajos más significativos que utilizan técnicas de aprendizaje por refuerzo profundo (DRL) para sistemas multi-VANT cooperativos y escalables y discutimos sus características utilizando un razonamiento crítico extenso y constructivo. Finalmente, presentamos las direcciones de investigación más probables y prometedoras al resaltar las limitaciones de las suposiciones actualmente sostenidas y las restricciones al tratar con sistemas multi-VANT colaborativos basados en DRL. Las áreas de investigación sugeridas pueden mejorar la transferencia de conocimiento de simulaciones a entornos del mundo real y pueden aumentar la capacidad de respuesta y la seguridad de los sistemas VANT.