La calidad de imagen visible es muy susceptible a cambios en la iluminación, y existen limitaciones en la clasificación de barcos utilizando imágenes adquiridas por un único sensor. Este estudio propone un método de clasificación de barcos basado en un mecanismo de atención y una red neuronal convolucional multi-escala (MSCNN) para imágenes visibles e infrarrojas. Primero, las características de las imágenes visibles e infrarrojas son extraídas por un módulo de red neuronal convolucional multi-escala simétrico de dos flujos, y luego concatenadas para aprovechar al máximo las características complementarias presentes en imágenes multimodales. Después, se aplica un mecanismo de atención a las características de fusión concatenadas para enfatizar áreas de detalles locales en el mapa de características, con el objetivo de mejorar aún más la capacidad de representación de características del modelo. Por último, los pesos de atención y las características de fusión concatenadas originales se suman elemento por elemento y se introducen en capas completamente conectadas y una capa de salida Softmax para la salida de clasificación final. La efectividad del método propuesto se verifica en un conjunto de datos de espectros visibles e infrarrojos (VAIS), que muestra un 93.81% de precisión en los resultados de clasificación. En comparación con otros métodos de última generación, el método propuesto podría extraer características de manera más efectiva y tener un mejor rendimiento general en la clasificación.