El diagnóstico inteligente de sonidos cardíacos basado en Redes Neuronales Convolucionales (CNN) ha estado atrayendo cada vez más atención debido a su precisión y eficiencia, las cuales han sido mejoradas por estudios recientes. Sin embargo, el rendimiento de los modelos CNN, fuertemente influenciado por sus parámetros y estructuras, todavía tiene margen de mejora. En este documento, proponemos un modelo de clasificación de sonidos cardíacos llamado CAFusionNet, que fusiona características de diferentes capas con ratios de resolución y tamaños de campo receptivo variables. Las características clave relacionadas con enfermedades de las válvulas cardíacas son ponderadas por un bloque de atención de canal en cada capa. Para abordar el problema del tamaño limitado del conjunto de datos, aplicamos un enfoque de aprendizaje por transferencia homogéneo. CAFusionNet supera a los modelos existentes en un conjunto de datos que combina datos públicos con nuestro conjunto de datos propietario, logrando una precisión del 0.9323. En comparación con los métodos tradicionales de aprendizaje profundo, el algoritmo de aprendizaje por transferencia logra una precisión del 0.9665 en la tarea de clasificación triple. Los datos de salida y los mapas de calor visualizados resaltan la importancia de la fusión de características de diferentes capas. Los métodos propuestos mejoraron significativamente el rendimiento de la clasificación de sonidos cardíacos y demostraron la importancia de la fusión de características, tal como se interpreta a través de los mapas de calor visualizados.