Los sonidos cardíacos juegan un papel importante en la evaluación inicial de enfermedades del corazón. Sin embargo, el diagnóstico preciso con señales de sonidos cardíacos requiere que los médicos tengan muchos años de experiencia clínica y conocimientos profesionales relevantes. En este estudio, propusimos un modelo de red neuronal ligero de extremo a extremo que no requiere segmentación de sonidos cardíacos y tiene muy pocos parámetros. Segmentamos la señal original de sonido cardíaco y realizamos una transformada de Fourier de corto tiempo (STFT) para obtener las características del dominio de frecuencia. Estas características se enviaron al modelo mejorado de red neuronal convolucional bidimensional (CNN) para el aprendizaje y clasificación de características. Considerando el desequilibrio de muestras positivas y negativas, introdujimos FocalLoss como la función de pérdida, verificamos nuestro modelo de red con múltiples verificaciones aleatorias y, por lo tanto, obtuvimos un mejor resultado de clasificación. Nuestro principal objetivo es diseñar una estructura de red ligera que sea fácil de implementar en hardware. En comparación con los resultados de la literatura más reciente, nuestro modelo utiliza solo 4.29 K parámetros, que es 1/10 del tamaño del trabajo más avanzado.