Dentro del campo de la visión por computadora, la segmentación e clasificación de imágenes sirven como tareas cruciales, que implican la categorización automática de imágenes en grupos o clases predefinidas, respectivamente. En este trabajo, proponemos un marco diseñado para abordar simultáneamente tareas de segmentación y clasificación en contextos de procesamiento de imágenes. El marco propuesto está compuesto por tres módulos principales y se enfoca en proporcionar transparencia, interpretabilidad y explicabilidad en sus operaciones. Los dos primeros módulos se utilizan para dividir la imagen de entrada en regiones de interés, lo que permite la identificación automática e interpretable de regiones de segmentación utilizando técnicas de agrupamiento. Estas regiones de segmentación luego se analizan para seleccionar aquellas consideradas valiosas por el usuario para abordar la tarea de clasificación. El tercer módulo se enfoca en la clasificación, utilizando un clasificador explicativo, que se basa en características transparentes hechas a mano extraídas de las regiones de segmentación seleccionadas. Al aprovechar solo las regiones informativas seleccionadas, el modelo de clasificación se vuelve más confiable y menos susceptible a información engañosa. La efectividad del marco propuesto se evaluó en un estudio de caso sobre benchmarks de segmentación y clasificación de cáncer de piel. El análisis experimental destacó que el marco propuesto mostró un rendimiento comparable con los enfoques de aprendizaje profundo de vanguardia, lo que implica su eficiencia, considerando que el enfoque propuesto también es interpretable y explicativo.