En este artículo, proponemos un marco para convertir el Lenguaje de Señas Americano (ASL) al inglés y del inglés al ASL. Dentro de este marco, utilizamos un modelo de aprendizaje profundo junto con la predicción de promedio móvil que captura fotogramas de imágenes de videos y clasifica las señas de los fotogramas de imagen. Los fotogramas clasificados se utilizan para construir palabras y oraciones en ASL para apoyar a las personas con discapacidades auditivas. También utilizamos el mismo modelo de aprendizaje profundo para capturar señas de personas con síntomas de sordera y convertirlas en palabras en ASL y oraciones en inglés. Basado en este marco, desarrollamos una herramienta basada en la web para usar en aplicaciones de la vida real y también presentamos la herramienta como una prueba de concepto. Con la evaluación, encontramos que el modelo de aprendizaje profundo convierte las señas de imagen en palabras y oraciones en ASL con alta precisión. La herramienta también resultó ser muy útil para personas con discapacidades auditivas y síntomas de sordera. La principal contribución de este trabajo es el diseño de un sistema para convertir ASL al inglés y viceversa.