El número de pacientes con enfermedades cardiovasculares en todo el mundo está aumentando rápidamente, mientras que los recursos médicos son cada vez más escasos. La clasificación de los sonidos cardíacos, como el medio más directo de descubrir enfermedades cardiovasculares, está atrayendo la atención de investigadores de todo el mundo. Aunque se ha avanzado mucho en la clasificación de sonidos cardíacos en los últimos años, la mayoría de ellos se basan en métodos tradicionales de características estadísticas y características de dimensión temporal. Estos métodos tradicionales de representación y clasificación de características de dimensión temporal no pueden lograr una buena precisión de clasificación. Este artículo propone un nuevo módulo de atención de partición y un módulo Fusionghost, y todo el marco de red se llama PANet. Sin segmentación de la señal de sonido cardíaco, la señal de sonido cardíaco se convierte en un bispectro y se introduce en el marco propuesto para tareas de extracción y clasificación de características. La red aprovecha al máximo la extracción de características multinivel y la fusión de mapas de características, mejorando la capacidad de extracción de características de la red. Este artículo realiza un estudio exhaustivo del rendimiento de diferentes parámetros de red y diferentes números de módulos, y compara el rendimiento con los algoritmos más avanzados actualmente disponibles. Los experimentos han demostrado que para dos problemas de clasificación (normal o anormal), la tasa de precisión de clasificación en la base de datos del Desafío PhysioNet/CinC 2016 alcanzó el 97,89%, la sensibilidad fue del 96,96% y la especificidad fue del 98,85%.