Dado que las imágenes patológicas tienen características distintas que son diferentes de las imágenes naturales, la aplicación directa de una red neuronal convolucional general no puede lograr un buen rendimiento de clasificación, especialmente para problemas de clasificación de grano fino (como la clasificación de imágenes patológicas). Inspirados en la experiencia clínica de que descomponer una imagen patológica en diferentes componentes es beneficioso para el diagnóstico, en este artículo proponemos un trabajo de división y atención para la clasificación de imágenes patológicas teñidas con Hematoxilina y Eosina (HE). El DANet utiliza un método de aprendizaje profundo para descomponer una imagen patológica en partes nucleares y no nucleares. Con estas imágenes patológicas descompuestas, el DANet primero realiza el aprendizaje de características de manera independiente en cada rama, y luego se centra en la representación de características más importante a través del módulo de atención de selección de ramas. De esta manera, el DANet puede aprender características representativas con respecto a diferentes estructuras de tejido y centrarse de manera adaptativa en las más importantes, mejorando así el rendimiento de clasificación. Además, introducimos restricciones de análisis de correlación canónica profunda (DCCA) en el proceso de fusión de características de diferentes ramas. Las restricciones DCCA desempeñan el papel de atención de fusión de ramas, para maximizar la correlación de diferentes ramas y asegurar que las ramas fusionadas enfatizan estructuras de tejido específicas. Los resultados experimentales de tres conjuntos de datos demuestran la superioridad del DANet, con una precisión media de clasificación del 92.5% en la clasificación de cáncer de mama, 95.33% en la graduación de cáncer colorrectal y 91.6% en las tareas de graduación de cáncer de mama.