La degradación lluviosa daña el efecto visual de una imagen e influye en el rendimiento de las tareas de visión posteriores. Diversos métodos de aprendizaje profundo para el despeje de imágenes individuales han sido propuestos, obteniendo resultados de recuperación apropiados. Lamentablemente, la mayoría de los métodos existentes ignoran la interacción entre la capa de lluvia y los componentes libres de lluvia al extraer características relevantes, lo que lleva a resultados no deseados. Para romper las limitaciones anteriores, proponemos una red híbrida progresiva modulada (PHMNet) para el despeje de imágenes individuales basada en el marco de dos ramas y de grueso a fino. Específicamente, se propone un módulo híbrido modulado (HMM) con un marco de dos ramas para mezclar y modular la característica de las capas libres de lluvia y las rachas de lluvia. Después de encadenar varios HMMs en la etapa reconstruida más gruesa de la PHMNet, se adopta un módulo refinado de múltiples niveles (MLRM) para refinar los resultados finales de despeje en la etapa reconstruida refinada. Al ser entrenado utilizando funciones de pérdida como el aprendizaje contrastivo, la PHMNet puede obtener resultados de despeje satisfactorios. Experimentos extendidos en varios conjuntos de datos y tareas posteriores demuestran que nuestro método se desempeña favorablemente frente a los métodos de vanguardia en la evaluación cuantitativa y los efectos visuales.