Los vehículos aéreos no tripulados (VANT) pueden desempeñar un papel clave en la satisfacción de ciertas demandas de las redes celulares. Los VANT pueden utilizarse no solo como equipos de usuario (EU) en redes celulares, sino también como estaciones base móviles (EB) en las que pueden aumentar las EB convencionales adaptando su posición para atender las cambiantes demandas de tráfico y conectividad o reemplazar temporalmente las EB que han sido dañadas debido a desastres naturales. La flexibilidad de los VANT les permite proporcionar cobertura a los EU en puntos críticos, en los bordes de las celdas, en agujeros de cobertura o en regiones con escasa infraestructura celular. En este trabajo, estudiamos cómo se pueden optimizar las ubicaciones de los VANT y otros parámetros celulares en tales escenarios para maximizar la eficiencia espectral (EE) de la red. Comparamos el rendimiento de las técnicas de aprendizaje automático (AA) con enfoques de optimización convencionales. Encontramos que, en promedio, un enfoque de aprendizaje Q profundo doble puede alcanzar el 93.46% de la EE mediana óptima y el 95.83% de la EE media óptima. Un enfoque codicioso simple, que ajusta los parámetros de cada EB y VANT de manera independiente, funcionó muy bien en todos los casos que probamos. Estos enfoques computacionalmente eficientes pueden utilizarse para mejorar el rendimiento de la red en las redes celulares existentes.