Los métodos orientados a grafos han sido ampliamente adoptados en el agrupamiento multi-vista debido a su eficiencia en el aprendizaje de relaciones heterogéneas y estructuras complejas ocultas en los datos. Sin embargo, los métodos existentes suelen ser investigados en base a una estructura euclidiana en lugar de una estructura topológica de variedad más adecuada. Por lo tanto, se espera que se adopte una estructura topológica de variedad más adecuada para llevar a cabo el aprendizaje de similitudes intrínsecas. En este documento, exploramos el implícito manifiesto adaptativo para el agrupamiento de grafos multi-vista. Específicamente, nuestro modelo integra sin problemas múltiples grafos adaptativos en un grafo de consenso considerando la estructura topológica de la variedad. Manipulamos además el grafo de consenso con una útil restricción de rango para que sus componentes conectados correspondan precisamente a agrupaciones distintas. Como resultado, nuestro modelo es capaz de lograr directamente un resultado de agrupamiento discreto sin necesidad de ningún postprocesamiento. En cuanto a los resultados de agrupamiento, nuestro método logra el mejor rendimiento en 22 de 24 casos en términos de cuatro métricas de evaluación en seis conjuntos de datos, lo que demuestra la efectividad del modelo propuesto. En cuanto al rendimiento computacional, nuestro algoritmo de optimización es generalmente más rápido o está en línea con otros algoritmos de vanguardia, lo que valida la eficiencia del algoritmo propuesto.