La epilepsia es una enfermedad crónica del cerebro con convulsiones recurrentes. La epilepsia del lóbulo temporal mesial (ELTM) es la causa patológica más común de la epilepsia. Con el desarrollo de la tecnología de diagnóstico asistido por computadora, existen muchos enfoques diagnósticos auxiliares basados en algoritmos de aprendizaje profundo. Sin embargo, las causas de la epilepsia son complejas y distinguir con precisión diferentes tipos de epilepsia es un desafío con un solo modo de examen. En este estudio, nuestro objetivo es evaluar la combinación de información médica de epilepsia multimodal de resonancia magnética estructural, imagen PET, síntomas clínicos típicos y datos demográficos personales y cognitivos (PDC) mediante la adopción de una red neuronal convolucional 3D profunda de múltiples canales y pre-entrenamiento de imágenes PET. Los resultados muestran una mejor precisión diagnóstica que al utilizar un solo tipo de datos médicos. Estos hallazgos revelan el potencial de una red neuronal profunda en la fusión de datos médicos multimodales.