El diseño aerodinámico de perfiles alares representa un dominio esencial en el desarrollo de aeronaves, donde la búsqueda de estrategias de optimización avanzadas e inteligentes es importante para lograr avances significativos. En este artículo, demostramos la efectividad y versatilidad de los métodos de optimización basados en el aprendizaje por refuerzo (RL) para mejorar el rendimiento aerodinámico tanto de perfiles alares transónicos como supersónicos. Introdujimos una nueva metodología utilizando RL para optimizar diseños de perfiles alares, aprovechando ADflow como el solucionador aerodinámico y construyendo un entorno de RL donde los parámetros de Transformación de Clase-Forma (CST) describen la geometría del perfil alar, transformándola en una variable de estado finito. Se incorporaron características clave del campo de flujo, especialmente las ondas de choque, para guiar el proceso de optimización, permitiendo que el modelo de RL mejore iterativamente los diseños basándose en retroalimentación en tiempo real de las simulaciones. Aplicado a perfiles alares transónicos, este método produjo resultados notables, incluyendo un aumento del 70.20% en la relación de sustentación a resistencia para un perfil alar, con mejoras consistentes en varias geometrías iniciales y condiciones de vuelo. Al extenderse al perfil alar supersónico NASA SC(2)-0404, el diseño optimizado logró cambios geométricos significativos que resultaron en un aumento del 6.25% en la relación de sustentación a resistencia, con mejoras que varían del 4.90% al 25.46% en diferentes coeficientes de sustentación. Estos hallazgos destacan la robustez y adaptabilidad de las técnicas de RL para abordar los desafíos únicos de la aerodinámica transónica y supersónica, manteniendo la integridad estructural.