Los Vehículos Aéreos No Tripulados (UAVs) se utilizan cada vez más en muchas aplicaciones desafiantes y diversificadas. Estas aplicaciones pertenecen a los campos civil y militar. Para nombrar algunas; inspección de infraestructuras, patrullaje de tráfico, teledetección, cartografía, vigilancia, rescate de humanos y animales, monitoreo ambiental y operaciones de Inteligencia, Vigilancia, Adquisición de Objetivos y Reconocimiento (ISTAR). Sin embargo, el uso de UAVs en estas aplicaciones requiere un nivel sustancial de autonomía. En otras palabras, los UAVs deben tener la capacidad de cumplir misiones planificadas en situaciones inesperadas sin necesidad de intervención humana. Para garantizar este nivel de autonomía, se diseñaron muchos algoritmos de inteligencia artificial. Estos algoritmos se centraron en la guía, navegación y control (GNC) de los UAVs. En este documento, describimos el estado del arte de un subconjunto de estos algoritmos: las técnicas de aprendizaje profundo por refuerzo (DRL). Hicimos una descripción detallada de ellos, y dedujimos las limitaciones actuales en esta área. Notamos que la mayoría de estos métodos DRL fueron diseñados para garantizar una navegación estable y suave de los UAVs mediante el entrenamiento en entornos simulados por computadora. Nos dimos cuenta de que se necesitan mayores esfuerzos de investigación para abordar los desafíos que restringen su despliegue en escenarios de la vida real.