Las redes neuronales convolucionales (CNN) han proporcionado grandes avances para la tarea de reconocimiento de lenguaje de signos (SLR). Sin embargo, las redes neuronales recurrentes (RNN) en forma de memoria a largo plazo (LSTM) se han convertido en un medio para proporcionar soluciones a problemas que involucran datos secuenciales. Esta investigación propone el desarrollo de un sistema de traducción de lenguaje de signos que convierte los signos del Lenguaje de Signos Panameño (PSL) en texto en español utilizando un modelo LSTM que, entre otras cosas, permite trabajar con signos no estáticos (como datos secuenciales). El modelo de aprendizaje profundo presentado se centra en la detección de acciones, en este caso, la ejecución de los signos. Esto implica procesar de manera precisa los fotogramas en los que se realiza un gesto de lenguaje de signos. La propuesta es una solución integral que considera, además de la búsqueda de las manos del hablante, los determinantes faciales y posturales. Estos se añadieron debido al hecho de que al comunicarse a través de lenguajes de signos, otras características visuales importan más allá de los gestos con las manos. Para el entrenamiento de este sistema, se creó un conjunto de datos de 330 videos (de 30 fotogramas cada uno) para cinco posibles clases (diferentes signos considerados). El modelo fue probado con una precisión del 98.8%, lo que lo convierte en un sistema base valioso para la comunicación efectiva entre usuarios de PSL y hablantes de español. En conclusión, este trabajo proporciona una mejora del estado del arte para la traducción PSL-Español utilizando las posibilidades de signos traducibles a través del aprendizaje profundo.