logo móvil
Contáctanos

Enfoque de Aprendizaje por Transferencia de Unificación y Adaptación (TUA) Basado en Tareas Noveles para Datos de Discurso Emocional Bilingüe

Autores: Shahin, Ismail; Nassif, Ali Bou; Thomas, Rameena; Hamsa, Shibani

Idioma: Inglés

Editor: MDPI

Año: 2023

Descargar PDF

Acceso abierto

Artículo científico
2023

Enfoque de Aprendizaje por Transferencia de Unificación y Adaptación (TUA) Basado en Tareas Noveles para Datos de Discurso Emocional Bilingüe


Categoría

Gestión y administración

Subcategoría

Gestión de la tecnología y la inovación

Palabras clave

Metodología de aprendizaje automático
Reconocimiento de emociones en el habla
Minería de datos
Aprendizaje por transferencia
Características multidimensionales
Datos de entrenamiento

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 1

Citaciones: Sin citaciones


Descripción
Los desarrollos modernos en la metodología de aprendizaje automático han producido enfoques efectivos para el reconocimiento de emociones en el habla. El campo de la minería de datos se emplea ampliamente en numerosas situaciones donde es posible predecir resultados futuros utilizando la secuencia de entrada de datos de entrenamiento previos. Dado que el espacio de características de entrada y la distribución de datos son los mismos tanto para los datos de entrenamiento como para los de prueba en los enfoques convencionales de aprendizaje automático, se extraen del mismo conjunto. Sin embargo, dado que muchas aplicaciones requieren una diferencia en la distribución de los datos de entrenamiento y prueba, la recopilación de datos de entrenamiento se está volviendo cada vez más costosa. En estas situaciones, se necesitan aprendices de alto rendimiento que hayan sido entrenados utilizando datos similares ya existentes. Para aumentar la capacidad de aprendizaje de un modelo, el aprendizaje por transferencia implica transferir conocimientos de un dominio a otro dominio relacionado. Para abordar este escenario, hemos extraído diez características multidimensionales de señales de habla utilizando OpenSmile y un método de aprendizaje por transferencia para clasificar las características de varios conjuntos de datos. En este artículo, enfatizamos la importancia de un nuevo sistema de aprendizaje por transferencia llamado Unificación y Adaptación Basada en Tareas (TUA), que cierra la disparidad entre un extenso entrenamiento inicial y una personalización posterior. Aprovechamos los dos componentes del TUA, la unificación desafiante de tareas y la adaptación específica de tareas. Nuestro algoritmo se estudia utilizando los siguientes conjuntos de datos de habla: el conjunto de datos de habla con acento emiratí árabe (ESD), el conjunto de datos de habla en inglés bajo estrés simulado y real (SUSAS) y el conjunto de datos de la base de datos audiovisual de habla y canción emocional de Ryerson (RAVDESS). Utilizando las características multidimensionales y el método de aprendizaje por transferencia en los conjuntos de datos dados, pudimos lograr una tasa promedio de reconocimiento de emociones en el habla del 91.2% en el ESD, 84.7% en el RAVDESS y 88.5% en los conjuntos de datos SUSAS, respectivamente.

Otros recursos que podrían interesarte

Temas Virtualpro