Reconocimiento de emociones basado en puntos de referencia faciales a través de una red neuronal gráfica dirigida
Autores: Ngoc, Quang Tran; Lee, Seunghyun; Song, Byung Cheol
Idioma: Inglés
Editor: MDPI
Año: 2020
Acceso abierto
Artículo científico
2020
Reconocimiento de emociones basado en puntos de referencia faciales a través de una red neuronal gráfica dirigida
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Reconocimiento de emociones faciales
Red neuronal de convolución de gráficos
Características de referencia
Red neuronal de gráficos dirigidos
Redes neuronales de gráficos
Problema del gradiente desvaneciente
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 28
Citaciones: Sin citaciones
El reconocimiento de emociones faciales (FER) ha sido un tema de investigación activo en los últimos años. Una de las dificultades en FER es la captura efectiva de información geométrica y temporal de landmarks. En este artículo, proponemos una red neuronal de convolución de grafos que utiliza características de landmarks para FER, a la que llamamos red neuronal de grafos dirigidos (DGNN). Los nodos en la estructura del grafo fueron definidos por landmarks, y los bordes en el grafo dirigido se construyeron mediante el método de Delaunay. Al usar redes neuronales de grafos, pudimos capturar información emocional a través de las propiedades inherentes de los rostros, como la información geométrica y temporal. Además, para evitar el problema del gradiente que desaparece, utilizamos una forma estable de un bloque temporal en el marco del grafo. Nuestros resultados experimentales demostraron la efectividad del método propuesto para conjuntos de datos como CK+ (96.02%), MMI (69.4%) y AFEW (32.64%). Además, se presenta e investiga una red de fusión que utiliza información de imágenes y landmarks para los conjuntos de datos CK+ (98.47% de rendimiento) y AFEW (50.65% de rendimiento).
Descripción
El reconocimiento de emociones faciales (FER) ha sido un tema de investigación activo en los últimos años. Una de las dificultades en FER es la captura efectiva de información geométrica y temporal de landmarks. En este artículo, proponemos una red neuronal de convolución de grafos que utiliza características de landmarks para FER, a la que llamamos red neuronal de grafos dirigidos (DGNN). Los nodos en la estructura del grafo fueron definidos por landmarks, y los bordes en el grafo dirigido se construyeron mediante el método de Delaunay. Al usar redes neuronales de grafos, pudimos capturar información emocional a través de las propiedades inherentes de los rostros, como la información geométrica y temporal. Además, para evitar el problema del gradiente que desaparece, utilizamos una forma estable de un bloque temporal en el marco del grafo. Nuestros resultados experimentales demostraron la efectividad del método propuesto para conjuntos de datos como CK+ (96.02%), MMI (69.4%) y AFEW (32.64%). Además, se presenta e investiga una red de fusión que utiliza información de imágenes y landmarks para los conjuntos de datos CK+ (98.47% de rendimiento) y AFEW (50.65% de rendimiento).