La tarea de localizar estructuras anatómicas distintas en datos de imágenes médicas es un requisito esencial para varias aplicaciones médicas, como la planificación del tratamiento en ortodoncia, la estimación de la edad ósea o la inicialización de métodos de segmentación en herramientas de análisis de imágenes automatizadas. Actualmente, la Localización de Puntos Anatómicos (LPA) se resuelve principalmente mediante métodos de aprendizaje profundo, que no pueden garantizar predicciones robustas de LPA; siempre puede haber predicciones atípicas que estén lejos de sus ubicaciones reales debido a entradas fuera de distribución. Sin embargo, estos valores atípicos de localización son perjudiciales para el rendimiento de las aplicaciones médicas posteriores que dependen de los resultados de LPA. La literatura actual de LPA se basa en gran medida en restricciones anatómicas implícitas incorporadas en la función de pérdida y la arquitectura de la red para reducir el riesgo de predicciones anatómicamente inviables. Sin embargo, sostenemos que en la imagen médica, donde las imágenes generalmente se adquieren en un entorno controlado, deberíamos utilizar restricciones anatómicas explícitas más fuertes para reducir al mínimo el número de valores atípicos. Por lo tanto, proponemos el método Global Anatomical Feasibility Filter and Analysis (GAFFA) entrenable de extremo a extremo, que utiliza conocimiento anatómico previo estimado de los datos para hacer cumplir explícitamente restricciones anatómicas. GAFFA mejora los resultados de localización iniciales de un U-Net al resolver aproximadamente un Campo Aleatorio de Markov (MRF) con una sola iteración del algoritmo de suma de productos de manera diferenciable. Nuestros experimentos demuestran que GAFFA supera a todos los demás métodos de refinamiento de puntos anatómicos investigados en nuestro marco. Además, mostramos que GAFFA es más robusto a valores atípicos grandes que los métodos de vanguardia en el conjunto de datos de rayos X de la mano estudiado. Además, respaldamos esta afirmación visualizando las restricciones anatómicas utilizadas en GAFFA como mapas de calor de energía espacial, lo que nos permitió encontrar un error de anotación en el conjunto de datos de la mano que no se había discutido previamente en la literatura.