La estimación de la orientación es una parte crucial de las tareas de robótica como el control de movimiento, la navegación autónoma y el mapeo 3D. En este artículo, proponemos un método visual robusto para estimar la orientación sin deriva de los robots con cámaras RGB-D. Primero, detectamos y seguimos características híbridas (es decir, planos, líneas y puntos) de imágenes de color y profundidad, lo que proporciona restricciones fiables incluso en entornos poco característicos con baja textura o sin líneas consistentes. Luego, construimos una función de coste basada en estas características y, al minimizar esta función, obtenemos la matriz de rotación precisa de cada fotograma capturado con respecto a su fotograma clave de referencia. Además, presentamos un método de estimación de dirección de desvanecimiento para extraer los ejes del Mundo Manhattan (MW); al alinear los ejes actuales de MW con los ejes globales de MW, refinamos la mencionada matriz de rotación de cada fotograma clave y logramos una orientación sin deriva. Experimentos en conjuntos de datos RGB-D públicos demuestran la robustez y precisión del algoritmo propuesto para la estimación de la orientación. Además, hemos aplicado nuestra brújula visual propuesta a la estimación de la pose, y la evaluación en secuencias públicas muestra una mayor precisión.