Convencionalmente, la similitud entre dos imágenes se mide mediante la distancia euclidiana de fácil cálculo entre sus representaciones de características de imagen correspondientes para la recuperación de imágenes. Sin embargo, este tipo de medición de similitud directa ignora la estructura de geometría local de la variedad de datos intrínseca, lo cual no es lo suficientemente discriminativo para una recuperación de imágenes robusta. Algunos trabajos han propuesto abordar este problema mediante el reordenamiento con aprendizaje de variedades. Si bien se benefician de un mejor rendimiento, los algoritmos de esta categoría sufren de una complejidad computacional no trivial, lo cual es desfavorable para su aplicación en tareas de recuperación a gran escala. Para abordar los problemas anteriores, en este documento proponemos aprender una incrustación de características robusta con la orientación de las relaciones de la variedad. Específicamente, la relación de la variedad se utiliza para guiar la selección automática de pares de imágenes de entrenamiento. Una red de ajuste fino con esos pares de imágenes seleccionados transfiere dichas relaciones de la variedad a la incrustación de características ajustada finamente. Con la incrustación de características ajustada finamente, la distancia euclidiana se puede utilizar directamente para medir la similitud entre pares de imágenes, donde la estructura de la variedad está implícitamente incrustada. Así, mantenemos tanto la eficiencia de la medición de similitud basada en la distancia euclidiana como la efectividad de la información de la variedad en la nueva incrustación de características. Experimentos extensos en tres conjuntos de datos de referencia demuestran la robustez de nuestro método propuesto, donde nuestro enfoque supera significativamente a los baselines y supera o es comparable a los métodos de vanguardia.