En escenarios de baja altitud y sin GNSS, los vehículos aéreos no tripulados (UAV) dependen de la fusión de sensores para la auto-localización. Este artículo presenta un sistema de localización de fusión multi-sensor resistente que integra detección y medición de luz (LiDAR), cámaras y unidades de medida inerciales (IMU) para lograr la estimación del estado de los UAV. Para abordar entornos desafiantes, especialmente los no estructurados, se utilizan predicciones de IMU para compensar la estimación de pose en los componentes visuales y de LiDAR. Específicamente, la precisión de las predicciones de IMU se mejora al aumentar la frecuencia de corrección del sesgo de IMU mediante la integración de datos de los módulos de LiDAR y visuales. Para reducir el impacto de errores aleatorios y ruido de medición en los puntos de LiDAR sobre la medición de profundidad visual, se realiza una validación cruzada de la profundidad de características visuales utilizando el error de reproyección para eliminar valores atípicos. Además, se introduce un monitor de estructura para cambiar los modos de operación en el registro de nubes de puntos híbridas, asegurando una estimación precisa del estado en entornos tanto estructurados como no estructurados. En escenas no estructuradas, se emplea un primitivo geométrico capaz de representar planos irregulares para el registro punto-superficie, junto con un nuevo método de resolución de pose para estimar la pose del UAV. Tanto conjuntos de datos privados como públicos recopilados por UAV validan el sistema propuesto, demostrando que supera a los algoritmos de última generación en al menos un 12.6%.