Los puentes son estructuras cruciales para las redes de transporte, y su integridad estructural es primordial. La deterioración y el daño a los puentes pueden provocar pérdidas económicas significativas, interrupciones del tráfico y, en casos graves, pérdida de vidas. Los métodos tradicionales de detección de daños en puentes, que a menudo se basan en inspecciones visuales, pueden ser desafiantes o imposibles en áreas críticas como techos, esquinas y alturas. Por lo tanto, existe una necesidad apremiante de técnicas automatizadas y precisas para la detección de daños en puentes. Este estudio tiene como objetivo proponer un método novedoso para la detección de grietas en puentes que aprovecha una estrategia de aprendizaje supervisado y no supervisado híbrida. El enfoque propuesto combina el método de características basado en píxeles Patrón Binario Local (LBP) con el método de características de nivel medio Bolsa de Palabras Visuales (BoVW) para la extracción de características, seguido por el algoritmo Apriori para la reducción de dimensionalidad y la selección óptima de características. Las características seleccionadas se entrenan luego utilizando el modelo MobileNet. El modelo propuesto demuestra un rendimiento excepcional, logrando tasas de precisión que van desde el 98.27% al 100%, con tasas de error entre el 1.73% y el 0% en múltiples conjuntos de datos de daños en puentes. Este estudio aporta un marco de aprendizaje híbrido confiable para minimizar las tasas de error en la detección de daños en puentes, mostrando el potencial de combinar las características LBP-BoVW con MobileNet para tareas de clasificación basadas en imágenes.