El problema de programación de satélites de observación terrestre ágiles (AEOSSP), como un problema de optimización combinatoria arduo y dependiente del tiempo, ha sido estudiado intensamente en las últimas décadas. Muchos estudios han propuesto algoritmos de construcción heurística no iterativos y algoritmos metaheurísticos iterativos para resolver este problema. Sin embargo, los algoritmos de construcción heurística gastan un tiempo relativamente más corto a expensas de la calidad de la solución, mientras que los algoritmos metaheurísticos iterativos logran una solución de alta calidad con mucho tiempo. Para superar las deficiencias de estos enfoques y utilizar eficientemente la información histórica de programación y las características de las tareas, este artículo presenta un nuevo modelo de red neuronal basado en el aprendizaje profundo por refuerzo y algoritmo heurístico (DRL-HA) para el AEOSSP y propone un algoritmo heurístico no iterativo innovador. El DRL-HA se compone de un modelo de red neuronal de construcción heurística (HCNN) y un algoritmo de disposición de tareas (TAA), donde el HCNN tiene como objetivo generar la secuencia de planificación de tareas y el TAA genera el orden de programación final factible de las tareas. En este estudio, el DRL-HA se examina con otros algoritmos heurísticos mediante una serie de experimentos. Los resultados demuestran que el DRL-HA supera a los competidores y el HCNN posee una destacada capacidad de generalización para diferentes tamaños de escenarios y distribuciones de tareas. Además, el HCNN, cuando se utiliza para generar soluciones iniciales de algoritmos metaheurísticos, puede lograr beneficios mejorados y acelerar las interacciones. Por lo tanto, se verifica que el algoritmo DRL-HA es un método efectivo para resolver AEOSSP. De esta manera, se puede garantizar la alta rentabilidad y puntualidad de la programación de satélites ágiles, y se explora y mejora aún más la solución de AEOSSP.