La detección de la intrusión de obstáculos en vías férreas es muy importante para el funcionamiento seguro de los trenes. En este documento, diseñamos un modelo de detección de intrusión multitarea para advertir sobre la intrusión de obstáculos detectados en escenas ferroviarias. Además, diseñamos un algoritmo de optimización multiobjetivo que se desempeña con diferentes niveles de complejidad de tareas. A través de la red de estructura reparametrizada compartida, nuestro modelo de aprendizaje multitarea utiliza los recursos de manera efectiva. Nuestro trabajo logra resultados competitivos tanto en la detección de objetos como en la detección de líneas, y alcanza un excelente rendimiento en tiempo de inferencia (50 FPS). Nuestro trabajo es el primero en introducir un enfoque multitarea para realizar la función de conducción asistida en una escena ferroviaria.