El cambio de carril autónomo, una característica clave de los sistemas avanzados de asistencia al conductor, puede mejorar la eficiencia del tráfico y reducir la incidencia de accidentes. Sin embargo, la conducción segura de vehículos autónomos sigue siendo un desafío en entornos complejos. Cómo realizar un cambio de carril seguro y apropiado es un tema popular de investigación en el campo de la conducción autónoma. Actualmente, pocos artículos consideran la seguridad del aprendizaje por refuerzo en escenarios de cambio de carril discrecional. Introducimos el aprendizaje por refuerzo híbrido de acciones seguras en el cambio de carril discrecional por primera vez y proponemos el algoritmo Parameterized Soft Actor-Critic con PID Lagrangiano (PASAC-PIDLag). Además, realizamos un análisis comparativo con el Parameterized Soft Actor-Critic (PASAC), que es una versión insegura del PASAC-PIDLag. Ambos algoritmos se utilizan para entrenar la estrategia de cambio de carril para generar tanto decisiones de cambio de carril discretas como aceleración longitudinal continua del vehículo. Nuestros resultados de simulación indican que, con una densidad de tráfico de 15 vehículos por kilómetro (15 veh/km), el algoritmo PASAC-PIDLag exhibe una seguridad superior con una tasa de colisión del 0%, superando al algoritmo PASAC, que tiene una tasa de colisión del 1%. Las evaluaciones de generalización revelan que, en niveles bajos de densidad de tráfico, tanto los algoritmos PASAC-PIDLag como PASAC son competentes para alcanzar tasas de colisión cero. Sin embargo, en niveles altos de densidad de tráfico, aunque ambos algoritmos resultan en colisiones, PASAC-PIDLag tiene una tasa de colisión mucho más baja que PASAC.