La detección de figuras compuestas en figuras y sus leyendas asociadas es el primer paso para hacer que las figuras médicas de la literatura biomédica estén disponibles para un análisis posterior. El rendimiento de los métodos tradicionales está limitado a la elección de características diseñadas a mano y al conocimiento previo del dominio. Entrenamos múltiples redes neuronales convolucionales (CNN), redes de memoria a corto y largo plazo (LSTM) y redes de unidades recurrentes con compuertas (GRU) sobre vectores de palabras preentrenados para aprender características textuales de las leyendas y empleamos CNN profundas para aprender características visuales de las figuras. Luego identificamos figuras compuestas combinando la predicción textual y visual. Nuestra arquitectura propuesta obtiene un rendimiento notable en tres tipos de ejecución: textual, visual y mixta, y logra un mejor rendimiento en ImageCLEF2015 e ImageCLEF2016.