Este documento proporciona una encuesta exhaustiva sobre la integración de las redes neuronales gráficas (GNN) y el aprendizaje profundo por refuerzo (DRL) en soluciones de redes de extremo a extremo (E2E). Profundizamos en los fundamentos de GNN, sus variantes y las aplicaciones de vanguardia en redes de comunicación, que revelan el potencial de revolucionar las políticas de gestión de acceso, transporte y núcleo de la red. Este documento explora además las capacidades de DRL, sus variantes y las aplicaciones de tendencia en redes E2E, particularmente en la mejora de las (re)configuraciones de red dinámicas y la gestión de recursos. Al fusionar GNN con DRL, destacamos enfoques novedosos, desde redes de acceso por radio hasta gestión y orquestación del núcleo, en todas las capas de la red E2E. Los escenarios de implementación en transporte inteligente, fábricas inteligentes y redes inteligentes demuestran las implicaciones prácticas de nuestro tema de encuesta. Por último, señalamos posibles desafíos y direcciones futuras de investigación, incluidos los aspectos críticos para la explicabilidad del modelado, la reducción del consumo de recursos, la interoperabilidad con esquemas existentes y la importancia de la reproducibilidad. Nuestra encuesta tiene como objetivo servir como una hoja de ruta para futuros desarrollos en redes E2E, guiando a través del panorama actual, los desafíos y los avances prospectivos en el modelado de algoritmos hacia la automatización de redes utilizando GNN y DRL.