La generación automática de informes médicos basada en aprendizaje profundo puede mejorar la eficiencia del diagnóstico y reducir costos. Aunque se han propuesto varios algoritmos de generación automática de informes, todavía existen dos desafíos principales en la generación de informes diagnósticos más detallados y precisos: utilizar imágenes de múltiples vistas de manera razonable e integrar características visuales y semánticas de lesiones clave de manera efectiva. Para superar estos desafíos, proponemos un enfoque novedoso de generación automática de informes. Primero proponemos el Módulo de Atención de Vistas Cruzadas para procesar y fortalecer las características de múltiples perspectivas de imágenes médicas, utilizando la pérdida de error cuadrático medio para unificar el efecto de aprendizaje de fusión de imágenes de una sola vista y de múltiples vistas. Luego, diseñamos el módulo de Memorias a Largo y Corto Plazo Visual-Semánticas Médicas para integrar y registrar la información temporal visual y semántica de cada oración diagnóstica, lo que mejora las características multimodales para generar oraciones diagnósticas más precisas. Aplicado al conjunto de datos de rayos X de la Universidad de Indiana de código abierto, nuestro modelo logró una mejora promedio sobre el modelo de última generación en seis métricas de evaluación. Esto demuestra que nuestro modelo es capaz de generar informes diagnósticos más detallados y precisos.