Los valores atípicos impactan significativamente en la precisión del ajuste del modelo geométrico. Enfoques previos para manejar los valores atípicos han implicado la selección de umbrales y la estimación de la escala. Sin embargo, muchos estimadores de escala asumen que la distribución de inliers sigue un modelo gaussiano, lo cual a menudo no representa con precisión los casos en el ajuste del modelo geométrico. Los valores atípicos, definidos como puntos con grandes residuos a todos los modelos verdaderos, exhiben características similares a valores altos en las preferencias de residuos cuantificados, lo que hace que los valores atípicos se agrupen lejos de los inliers en el espacio de preferencia de residuos cuantificados. En este documento, aprovechamos este consenso entre los valores atípicos en el espacio de preferencia de residuos cuantificados mediante la extensión de la minimización de energía para combinar el error del modelo y la suavidad espacial para la detección de valores atípicos. El proceso de detección de valores atípicos basado en la minimización de energía sigue un marco de muestreo y etiquetado alternativo. Posteriormente, se emplea un método ordinario de minimización de energía para optimizar las etiquetas de inliers, siguiendo así el marco de muestreo y etiquetado alternativo. Los resultados experimentales demuestran que el método de detección de valores atípicos basado en la minimización de energía identifica de manera efectiva la mayoría de los valores atípicos en los datos. Además, la segmentación de inliers basada en la minimización de energía propuesta segmenta con precisión los inliers en diferentes modelos. En general, el rendimiento del método propuesto supera al de la mayoría de los métodos de vanguardia.