Asegurar los Sistemas de Control Industrial (ICS) es crítico, pero se complica por la constante evolución de las amenazas cibernéticas y la escasez de datos de ataque etiquetados en estos entornos especializados. Los sistemas estándar de detección de intrusiones (IDS) a menudo no logran adaptarse cuando se transfieren a nuevas redes con datos limitados. Para abordar esto, este documento presenta un marco de detección de intrusiones adaptativo que combina un modelo híbrido de Red Neuronal Convolucional y Memoria a Largo y Corto Plazo (CNN-LSTM) con una nueva estrategia de aprendizaje por transferencia. Empleamos un agente de Aprendizaje por Refuerzo (RL) para guiar inteligentemente el proceso de ajuste fino, lo que permite que el IDS ajuste dinámicamente sus parámetros, como el congelamiento de capas y las tasas de aprendizaje, en tiempo real basado en la retroalimentación del rendimiento. Evaluamos nuestro sistema en un escenario realista con escasez de datos utilizando solo 50 muestras de entrenamiento etiquetadas. Nuestro modelo guiado por RL logró una puntuación F1 final de 0.9825, superando significativamente a un modelo estándar de ajuste fino de red neuronal (0.861) y a un modelo base objetivo (0.759). El análisis del comportamiento del agente de RL confirmó que aprendió una política equilibrada y efectiva para adaptar el modelo al dominio objetivo. Concluimos que el enfoque propuesto guiado por RL crea un IDS altamente preciso y adaptativo que supera las limitaciones de los métodos de aprendizaje por transferencia estáticos. Esta estrategia de ajuste fino dinámico es una dirección poderosa y prometedora para construir defensas cibernéticas resilientes para infraestructuras críticas.