La comunicación entre personas con discapacidad auditiva presenta desafíos, y para facilitarla, se prefiere el lenguaje de señas. Muchas personas en las comunidades sordas y con discapacidad auditiva luchan por entender el lenguaje de señas debido a su falta de conocimiento del modo de señas. Los investigadores contemporáneos utilizan enfoques basados en guantes y visión para capturar el movimiento de las manos y analizar la comunicación; la mayoría de los investigadores utilizan técnicas basadas en visión para identificar la comunicación de personas discapacitadas porque el enfoque basado en guantes hace que las personas se sientan incómodas. Sin embargo, la solución de guantes identifica con éxito el movimiento y la destreza manual, aunque solo reconoce los números, palabras y letras que se comunican, sin identificar oraciones. Por lo tanto, la inteligencia artificial (IA) se integra con el sistema de predicción de lenguaje de señas para identificar la comunicación basada en oraciones de personas discapacitadas. Aquí, se utiliza la información de lenguaje de señas relacionada con guantes portátiles para analizar la eficiencia del sistema de reconocimiento. Las entradas recopiladas se procesan utilizando redes neuronales convolucionales profundas de aprendizaje progresivo (PLD-CNN). La técnica conocida como aprendizaje de progresión procesa oraciones dividiéndolas en palabras, creando un conjunto de datos de entrenamiento. El modelo ayuda en los esfuerzos para comprender las oraciones en lenguaje de señas. Se utiliza un algoritmo de optimización memética para calibrar el rendimiento de la red, minimizando problemas de optimización de reconocimiento. Este proceso maximiza la velocidad de convergencia y reduce las dificultades de traducción, mejorando el proceso de aprendizaje en general. El sistema creado se desarrolla utilizando la herramienta MATLAB (R2021b), y su eficacia se evalúa utilizando métricas de rendimiento. Los hallazgos experimentales ilustran que el sistema propuesto funciona al reconocer movimientos de lenguaje de señas con una precisión, recuperación, exactitud y puntuaciones F1 excelentes, convirtiéndolo en una herramienta poderosa en la detección de gestos en general y de oraciones basadas en señas en particular.