La intrusión de obstáculos es una seria amenaza para la seguridad del tráfico ferroviario. La segmentación semántica 3D de nube de puntos LiDAR (3DSS) proporciona un nuevo método para la detección de obstáculos en rieles no tripulados. Sin embargo, la degradación inevitable del rendimiento del modelo ocurre en condiciones climáticas complejas y obstaculiza su aplicación práctica. En este documento, se propone una estrategia de aprendizaje contrastivo multimodal (CL), llamada DHT-CL, para mejorar la segmentación 3D de nube de puntos en condiciones climáticas complejas para la detección de obstáculos en rieles. DHT-CL es una estrategia de fusión de sensores de cámara y LiDAR diseñada específicamente para condiciones climáticas complejas y tareas de detección de obstáculos, sin necesidad de entrada de imagen durante la etapa de inferencia. Primero demostramos cómo el método de fusión de sensores es más robusto bajo condiciones lluviosas y nevadas, y luego diseñamos un Transformador de Doble Hélice (DHT) para extraer información cruzada más profunda a través de un mecanismo de atención de vecindario. Luego, se construye una pérdida de discriminación cruzada consciente de anomalías de obstáculos para optimización colaborativa que se adapta a la tarea de identificación de anomalías. Los resultados experimentales en un conjunto de datos ferroviarios de clima complejo muestran que con un mIoU del 87.38%, la estrategia DHT-CL propuesta logra un mejor rendimiento en comparación con otros modelos de alto rendimiento del conjunto de datos de conducción autónoma, SemanticKITTI. Los resultados cualitativos muestran que DHT-CL logra una mayor precisión en condiciones climáticas claras y reduce las falsas alarmas en condiciones lluviosas y nevadas.