El reconocimiento de emociones faciales es una tarea crucial para la interacción humano-computadora, vehículos autónomos y una multitud de aplicaciones multimedia. En este artículo, proponemos un marco modular para el reconocimiento de emociones faciales humanas. El marco consiste en dos algoritmos de aprendizaje automático (para detección y clasificación) que pueden ser entrenados sin conexión para aplicaciones en tiempo real. Inicialmente, detectamos rostros en las imágenes explorando los clasificadores en cascada de AdaBoost. Luego, extraemos características de diferencia de vecindario (NDF), que representan las características de un rostro basadas en información de apariencia localizada. Los NDF modelan diferentes patrones basados en las relaciones entre las regiones vecinas en lugar de considerar solo la información de intensidad. El estudio se centra en las siete expresiones faciales más importantes que se utilizan ampliamente en la vida cotidiana. Sin embargo, debido al diseño modular del marco, se puede extender para clasificar un número N de expresiones faciales. Para la clasificación de expresiones faciales, entrenamos un clasificador de bosque aleatorio con un estado emocional latente que se encarga de la detección errónea/falsa. Además, el método propuesto es independiente del género y del color de piel facial para el reconocimiento de emociones. Además, debido al diseño intrínseco de NDF, el método propuesto es invariante a la iluminación y la orientación. Evaluamos nuestro método en diferentes conjuntos de datos de referencia y lo comparamos con cinco métodos de referencia. En términos de precisión, el método propuesto ofrece un 13% y un 24% mejores resultados que los métodos de referencia en los conjuntos de datos de expresiones faciales estáticas en la naturaleza (SFEW) y rostros afectivos del mundo real (RAF), respectivamente.