Algunos algoritmos de aprendizaje automático han demostrado una mejor tasa de reconocimiento general para el reconocimiento facial que los humanos, siempre que los modelos se entrenen con bases de datos masivas de imágenes de rostros humanos. Sin embargo, todavía es un desafío utilizar los algoritmos existentes para realizar tareas de búsqueda de personas localizadas donde el reconocimiento debe realizarse en tiempo real y donde solo se tiene acceso a una pequeña base de datos de rostros. Una búsqueda de personas localizada es esencial para habilitar interacciones entre robots y humanos. En este artículo, proponemos un enfoque de conjunto adaptativo novedoso para mejorar las tasas de reconocimiento facial manteniendo bajos costos computacionales, combinando clasificadores binarios locales ligeros con clasificadores binarios globales preentrenados. En este enfoque, el robot se coloca en un entorno de inteligencia ambiental que lo hace consciente de los cambios de contexto locales. Nuestro método aborda el desequilibrio extremo de los resultados falsos positivos cuando se utiliza en clasificaciones de conjuntos de datos locales. Además, reduce los errores causados por la deformación afín en la frontalización facial y por el enfoque deficiente de la cámara. Nuestro enfoque muestra una tasa de reconocimiento más alta en comparación con un clasificador global preentrenado utilizando una base de datos de referencia bajo diversas imágenes de resolución, y demuestra una buena eficacia en tareas en tiempo real.