Un trastorno del habla limita la capacidad de una persona para la comunicación oral y auditiva. Un gran avance en la comunicación entre sordos y el público en general estaría representado por un detector de lenguaje de señas en tiempo real. Este trabajo propone un algoritmo basado en aprendizaje profundo que puede identificar palabras a partir de los gestos de una persona y detectarlos. Ha habido muchos estudios sobre este tema, pero el desarrollo de modelos de reconocimiento estático y dinámico de lenguaje de señas sigue siendo un área desafiante de investigación. La dificultad radica en obtener un modelo apropiado que aborde los desafíos de los signos continuos que son independientes del firmante. Diferentes velocidades, duraciones y muchos otros factores hacen que sea difícil crear un modelo con alta precisión y continuidad. Para el reconocimiento preciso y efectivo de los signos, este estudio utiliza dos enfoques diferentes basados en aprendizaje profundo. Creamos un detector de Lengua de Señas Americana en tiempo real utilizando el modelo esquelético, que categoriza de manera confiable signos continuos en lenguaje de señas en la mayoría de los casos utilizando un enfoque de aprendizaje profundo. En el segundo enfoque de aprendizaje profundo, creamos un detector de lenguaje de señas para signos estáticos utilizando YOLOv6. Esta aplicación es muy útil para los usuarios y aprendices de lenguaje de señas para practicar en tiempo real. Después de entrenar ambos algoritmos por separado para signos estáticos y continuos, creamos un algoritmo único utilizando un enfoque híbrido. El modelo propuesto, que consiste en LSTM con puntos de referencia holísticos de MediaPipe, logra alrededor del 92% de precisión para diferentes signos continuos, y el modelo YOLOv6 logra el 96% de precisión en diferentes signos estáticos. A lo largo de este estudio, determinamos cuál enfoque es el mejor para la detección de movimientos secuenciales y para la clasificación de diferentes signos según el lenguaje de señas y muestra una precisión notable en tiempo real.