La Caminata de la Culpa: Detección de Decepción Multimodal a partir del Comportamiento de Movimiento No Verbal
Autores: Alghowinem, Sharifa; Caldwell, Sabrina; Radwan, Ibrahim; Wagner, Michael; Gedeon, Tom
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
La Caminata de la Culpa: Detección de Decepción Multimodal a partir del Comportamiento de Movimiento No Verbal
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Comportamiento engañoso
Vigilancia
Protección fronteriza
Tecnología
Detección de engaños
Enfoque multimodal
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Detectar comportamientos engañosos para la vigilancia y la protección de fronteras es crítico para la seguridad de un país. Con el avance de la tecnología en relación con los sensores y la inteligencia artificial, el reconocimiento de comportamientos engañosos podría realizarse automáticamente. Siguiendo el éxito de la computación afectiva en el reconocimiento de emociones a partir de señales verbales y no verbales, nuestro objetivo es aplicar un concepto similar para la detección de engaños. Se ha intentado reconocer comportamientos engañosos; sin embargo, solo unos pocos estudios han analizado este comportamiento a partir de la marcha y el movimiento corporal. Esta investigación implica un enfoque multimodal para la detección de engaños a partir de la marcha, donde fusionamos características extraídas de los comportamientos de movimiento corporal de una señal de video, características acústicas de los pasos al caminar de una señal de audio y la dinámica del movimiento al caminar utilizando un sensor de acelerómetro. Usando la grabación en video de la marcha del conjunto de datos de engaño Whodunnit, que contiene 49 sujetos realizando escenarios que provocan comportamientos engañosos, llevamos a cabo una clasificación multimodal de dos categorías (culpable/no culpable) independiente del sujeto. Los resultados de clasificación obtenidos alcanzaron una precisión de hasta el 88% a través de la fusión de características, con un promedio del 60% de señales tanto individuales como multimodales. El análisis del movimiento corporal utilizando una única modalidad mostró que la señal visual tuvo el mejor rendimiento, seguida por las señales de acelerómetro y acústicas. Se exploraron varias técnicas de fusión, incluyendo fusión temprana, tardía e híbrida, donde la fusión híbrida no solo logró los mejores resultados de clasificación, sino que también aumentó la confianza en los resultados. Además, utilizando un marco sistemático para seleccionar las características más distintivas del comportamiento de marcha culpable, pudimos interpretar el rendimiento de nuestros modelos. A partir de estos resultados base, podemos concluir que las técnicas de reconocimiento de patrones podrían ayudar a caracterizar el comportamiento engañoso, donde el trabajo futuro se centrará en explorar la sintonización y mejora de los resultados y técnicas.
Descripción
Detectar comportamientos engañosos para la vigilancia y la protección de fronteras es crítico para la seguridad de un país. Con el avance de la tecnología en relación con los sensores y la inteligencia artificial, el reconocimiento de comportamientos engañosos podría realizarse automáticamente. Siguiendo el éxito de la computación afectiva en el reconocimiento de emociones a partir de señales verbales y no verbales, nuestro objetivo es aplicar un concepto similar para la detección de engaños. Se ha intentado reconocer comportamientos engañosos; sin embargo, solo unos pocos estudios han analizado este comportamiento a partir de la marcha y el movimiento corporal. Esta investigación implica un enfoque multimodal para la detección de engaños a partir de la marcha, donde fusionamos características extraídas de los comportamientos de movimiento corporal de una señal de video, características acústicas de los pasos al caminar de una señal de audio y la dinámica del movimiento al caminar utilizando un sensor de acelerómetro. Usando la grabación en video de la marcha del conjunto de datos de engaño Whodunnit, que contiene 49 sujetos realizando escenarios que provocan comportamientos engañosos, llevamos a cabo una clasificación multimodal de dos categorías (culpable/no culpable) independiente del sujeto. Los resultados de clasificación obtenidos alcanzaron una precisión de hasta el 88% a través de la fusión de características, con un promedio del 60% de señales tanto individuales como multimodales. El análisis del movimiento corporal utilizando una única modalidad mostró que la señal visual tuvo el mejor rendimiento, seguida por las señales de acelerómetro y acústicas. Se exploraron varias técnicas de fusión, incluyendo fusión temprana, tardía e híbrida, donde la fusión híbrida no solo logró los mejores resultados de clasificación, sino que también aumentó la confianza en los resultados. Además, utilizando un marco sistemático para seleccionar las características más distintivas del comportamiento de marcha culpable, pudimos interpretar el rendimiento de nuestros modelos. A partir de estos resultados base, podemos concluir que las técnicas de reconocimiento de patrones podrían ayudar a caracterizar el comportamiento engañoso, donde el trabajo futuro se centrará en explorar la sintonización y mejora de los resultados y técnicas.