La adopción generalizada de redes neuronales profundas (DNNs) en el reconocimiento de voz ha introducido vulnerabilidades de seguridad significativas, especialmente por ataques de puerta trasera. Estos ataques permiten a los adversarios manipular el comportamiento del sistema a través de disparadores ocultos mientras mantienen la operación normal en entradas limpias. Para abordar este desafío, proponemos un nuevo marco de defensa que combina la mejora del habla con la optimización de la arquitectura neuronal. Nuestro enfoque consta de tres pasos clave. Primero, utilizamos una red de mejora basada en ComplexMTASS para aislar y eliminar los disparadores de puerta trasera aprovechando sus características espectrales únicas. En segundo lugar, aplicamos un algoritmo de poda fina adaptativa para desactivar selectivamente las neuronas maliciosas mientras preservamos las capacidades lingüísticas del modelo. Finalmente, afinamos el modelo podado utilizando datos limpios para restaurar y mejorar la precisión del reconocimiento. Los experimentos en el conjunto de datos AISHELL demuestran la efectividad de nuestro método contra ataques esteganográficos avanzados, como PBSM y VSVC. Los resultados muestran una reducción significativa en la tasa de éxito del ataque a menos del 1.5%, manteniendo una precisión del 99.4% en las entradas limpias. Esto representa una mejora notable sobre las defensas existentes, especialmente bajo diferentes intensidades de disparadores y tasas de envenenamiento.