Aplicar el aprendizaje profundo a la investigación médica con datos limitados es un desafío. Este estudio se centra en abordar esta dificultad a través de un estudio de caso, prediciendo la insuficiencia respiratoria aguda (IRA) en pacientes con intoxicación aguda por pesticidas. Comúnmente, los datos fuera de distribución (OOD) son pasados por alto durante el entrenamiento del modelo en el campo médico. Nuestro enfoque integra datos OOD y aprendizaje por transferencia (TL) para mejorar el rendimiento del modelo con datos limitados. Ajustamos finamente un modelo de perceptrón multicapa pre-entrenado utilizando datos OOD, superando a los modelos de referencia. Se emplearon valores de explicación aditiva de Shapley (SHAP) para la interpretación del modelo, revelando los factores clave asociados con la IRA. Nuestro estudio es pionero en la aplicación de técnicas OOD y TL a registros de salud electrónicos para lograr un mejor rendimiento del modelo en escenarios con datos limitados. Nuestra investigación destaca los beneficios potenciales de utilizar datos OOD para inicializar pesos y demuestra que TL puede mejorar significativamente el rendimiento del modelo, incluso en datos médicos con muestras limitadas. Nuestros hallazgos enfatizan la importancia de utilizar información específica del contexto en TL para lograr mejores resultados. Nuestro trabajo tiene implicaciones prácticas para abordar desafíos en enfermedades raras y otros escenarios con datos limitados, contribuyendo así al desarrollo de técnicas de aprendizaje automático en el campo médico, especialmente en lo que respecta a las desigualdades en salud.