La energía renovable puede conducir a un futuro sostenible y la energía solar es una de las principales fuentes de energía renovable. La energía solar se obtiene principalmente a través de plantas fotovoltaicas. Aunque hay un gran número de paneles solares, la eficiencia económica de los paneles solares no es tan alta en comparación con la producción de energía a partir del carbón o de materia nuclear. El principal riesgo involucrado en las plantas solares es el alto costo de mantenimiento asociado con el mantenimiento de las plantas. Para ayudar a reducir este problema, se proponen soluciones automatizadas utilizando Vehículos Aéreos No Tripulados (UAV) e imágenes satelitales. En este trabajo de investigación, proponemos una nueva arquitectura de aprendizaje profundo para la segmentación de imágenes aéreas de plantas solares, que no solo ayuda en el mantenimiento automatizado de plantas solares, sino que también se puede utilizar para la estimación de áreas y la extracción de paneles solares de una imagen. Junto con esto, también proponemos un modelo basado en transferencia de aprendizaje para la clasificación eficiente de daños en paneles solares. La clasificación de daños en paneles solares tiene muchas aplicaciones. Se puede integrar en sistemas de monitoreo, generando alertas cuando hay daños severos o daños de un cierto tipo. El modelo UNet adaptativo con el módulo de Agrupamiento Piramidal Espacial Atrous (ASPP) que realizó las convoluciones dilatadas que propusimos logró una precisión general del 98% con un puntaje de Intersección sobre Unión (IoU) del 95% y tardó menos de un segundo en procesar una imagen. Nuestro modelo de clasificación utilizando el Grupo de Geometría Visual 19 (VGG19) como base para la extracción de características ha logrado una precisión de clasificación del 98% con un puntaje de 99%, detectando así las cinco clases de daños, incluidos los paneles solares no dañados, de manera eficiente.