El aprendizaje jerárquico de habilidades es una dirección de investigación importante en la inteligencia humana. Sin embargo, muchos problemas del mundo real tienen recompensas escasas y un horizonte temporal largo, lo que suele plantear desafíos en el aprendizaje jerárquico de habilidades y llevar a un rendimiento deficiente en la exploración ingenua. En este trabajo, proponemos un marco algorítmico llamado exploración jerárquica basada en la sorpresa para el aprendizaje de modelos y habilidades (Surprise-HEL). El marco aprovecha la motivación intrínseca basada en la sorpresa para mejorar la eficiencia del muestreo y promover la exploración. También combina la motivación intrínseca basada en la sorpresa y la exploración jerárquica para acelerar el aprendizaje de modelos y habilidades. Además, el marco incorpora reglas de aprendizaje incremental independientes de la recompensa y la técnica de alternancia entre el aprendizaje de modelos y la actualización de políticas para manejar las recompensas intrínsecas cambiantes y los modelos cambiantes. Estos trabajos permiten que el marco implemente el aprendizaje incremental y evolutivo de modelos y habilidades jerárquicas. Probamos Surprise-HEL en un dominio de referencia común: Household Robot Pickup and Place. Los resultados de la evaluación muestran que el marco Surprise-HEL puede mejorar significativamente la eficiencia del agente en el aprendizaje de modelos y habilidades en un dominio complejo típico.