Esta investigación propone un estudio sobre la comunicación bidireccional entre personas sordas/mudas y personas normales utilizando una aplicación de Android. A pesar de los avances en tecnología, todavía hay una falta de aplicaciones móviles que faciliten la comunicación bidireccional entre personas sordas/mudas y personas normales, especialmente utilizando el Bahasa Isyarat Malaysia (BIM). Este proyecto consta de tres partes: Primero, utilizamos letras BIM, que permiten el reconocimiento de letras BIM y letras combinadas de BIM para formar una palabra. En esta parte, se implementa un modelo preentrenado MobileNet para entrenar el modelo con un total de 87,000 imágenes para 29 clases, con un tamaño de prueba del 10% y un tamaño de entrenamiento del 90%. La segunda parte son los gestos manuales de palabras BIM, que constan de cinco clases que se entrenan con el modelo preentrenado SSD-MobileNet-V2 FPNLite 320 x 320 con una velocidad de 22 s/tasa de fotogramas y un COCO mAP de 22.2, con un total de 500 imágenes para las cinco clases y el primer entrenamiento establecido en 2000 pasos, mientras que el segundo y tercer entrenamiento se establecen en 2500 pasos. La tercera parte es el desarrollo de la aplicación de Android utilizando Android Studio, que contiene las características de las letras BIM y los gestos manuales de palabras BIM, con los modelos entrenados convertidos en TensorFlow Lite. Esta función también incluye la conversión de voz a texto, mediante la cual esta función permite convertir voz a texto a través de la aplicación de Android. Así, las letras BIM obtienen un 99.75% de precisión después de entrenar los modelos, mientras que los gestos manuales de palabras BIM obtienen un 61.60% de precisión. El sistema sugerido se valida como resultado de estas simulaciones y pruebas.