La popularidad de los vehículos aéreos no tripulados comerciales ha atraído gran atención de la industria del comercio electrónico debido a su idoneidad para la entrega de última milla. Sin embargo, la organización eficiente de múltiples vehículos aéreos para la entrega dentro de limitaciones e incertidumbres sigue siendo un problema. El principal desafío de la planificación es la escalabilidad, ya que el espacio de planificación crece exponencialmente con el número de agentes, y no es eficiente permitir que supervisores a nivel humano estructuren el problema en entornos a gran escala. Los algoritmos basados en Deep Q-Networks han tenido un éxito sin precedentes en la resolución de problemas de toma de decisiones. La extensión de estos algoritmos a problemas multi-agente es limitada debido a problemas de escalabilidad. Este trabajo propone un enfoque que mejora el rendimiento de Deep Q-Networks en problemas de entrega multi-agente por drones al utilizar descomposiciones de estado para reducir la complejidad del problema, Aprendizaje Curricular para manejar la complejidad de exploración y Algoritmos Genéticos para buscar un emparejamiento eficiente de paquetes y drones a través del espacio de soluciones combinatorias. El rendimiento del método propuesto se muestra en un problema de entrega multi-agente por drones que tiene 10 agentes y ~1077 pares estado-acción. Se proporcionan resultados de simulación comparativa para demostrar el mérito del método propuesto. El DRL multi-agente asistido por Algoritmos Genéticos superó al resto en términos de escalabilidad y comportamiento convergente.