La contaminación con fibras extranjeras, como películas de mantillo y hilos de polipropileno, durante la cosecha y procesamiento del algodón compromete severamente la calidad de la fibra. Los métodos de detección tradicionales a menudo no logran identificar impurezas finas bajo luz visible, mientras que las técnicas de imagen hiperespectral de espectro completo, a pesar de su efectividad, tienden a ser prohibitivamente caras y computacionalmente intensivas. Específicamente, la gran cantidad de información espectral redundante en la imagen hiperespectral de espectro completo incrementa tanto los costos del sistema como los desafíos de procesamiento. Para abordar estos desafíos, este estudio presenta un marco de detección inteligente que integra la selección optimizada de bandas espectrales con una red neuronal ligera. Se emplea un nuevo operador híbrido de Optimización de Halcones de Harris-Ballena (HWOO) para aislar 12 bandas discriminativas de las 288 canales originales, eliminando efectivamente los datos espectrales redundantes. Además, un mecanismo de atención ligero, combinado con un módulo de convolución en profundidad, permite inferencias en tiempo real para la producción en línea. La arquitectura propuesta de CNN mejorada con atención logra una precisión de clasificación del 99.75% con un procesamiento en tiempo real de 12.201 s por píxel, superando a los modelos de espectro completo en un 11.57% en precisión y reduciendo drásticamente el tiempo de procesamiento de 370.1 s por píxel. Este enfoque no solo permite la eliminación de impurezas a alta velocidad en las líneas de producción de algodón semilla cosechado, sino que también ofrece un camino rentable hacia soluciones multiespectrales prácticas. Además, esta metodología demuestra una amplia aplicabilidad para el control de calidad en el procesamiento de productos agrícolas.