El transporte logístico aéreo se ha convertido en uno de los mercados más prometedores para la industria de drones civiles. Sin embargo, el gran flujo, la alta densidad y las características ambientales complejas de los escenarios urbanos hacen que la resolución de conflictos tácticos sea muy desafiante. Los métodos de resolución de conflictos existentes están limitados por tasas de éxito de evitación de colisiones insuficientes al considerar objetivos no cooperativos y no logran tener en cuenta las restricciones temporales de la trayectoria 4D predefinida. En este artículo, se diseña un nuevo método de resolución de conflictos tácticos basado en el aprendizaje por refuerzo para el transporte logístico aéreo, reconstruyendo el espacio de estados siguiendo el concepto de sectores de riesgo y mediante el uso de un nuevo ajuste de recompensa temporal basado en el Tiempo Estimado de Llegada (ETA). Nuestras contribuciones permiten que un dron integre las restricciones temporales de la trayectoria 4D predefinida en la fase estratégica. Como consecuencia, el dron puede evitar con éxito objetivos no cooperativos mientras reduce en gran medida la ocurrencia de conflictos secundarios, como lo demuestran los resultados de simulación numérica.