Con la creciente atención global a la protección del medio ambiente y al uso sostenible de los recursos, la clasificación de residuos se ha convertido en un tema crítico que necesita una resolución urgente en el desarrollo social. Comparados con los métodos tradicionales de clasificación de residuos manuales, los sistemas de clasificación de residuos basados en el aprendizaje profundo ofrecen ventajas significativas. Este documento propone un innovador marco de aprendizaje profundo, Garbage FusionNet (GFN), destinado a abordar el desafío de la clasificación de residuos. GFN mejora el rendimiento de la clasificación al integrar las fortalezas de extracción de características locales de ResNet con las capacidades de procesamiento de información global del Vision Transformer (ViT). Además, GFN incorpora el Módulo de Agrupación Piramidal (PPM) y el Módulo de Atención de Bloque Convolucional (CBAM), que mejoran colectivamente la extracción de características a múltiples escalas y enfatizan características críticas, aumentando así la robustez y precisión del modelo. Los resultados experimentales en el Conjunto de Datos de Basura y Trashnet demuestran que GFN logra un rendimiento superior en comparación con otros modelos de comparación.