Enfoque de Aprendizaje por Transferencia de Unificación y Adaptación (TUA) Basado en Tareas Noveles para Datos de Discurso Emocional Bilingüe
Autores: Shahin, Ismail; Nassif, Ali Bou; Thomas, Rameena; Hamsa, Shibani
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Enfoque de Aprendizaje por Transferencia de Unificación y Adaptación (TUA) Basado en Tareas Noveles para Datos de Discurso Emocional Bilingüe
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Metodología de aprendizaje automático
Reconocimiento de emociones en el habla
Minería de datos
Aprendizaje por transferencia
Características multidimensionales
Datos de entrenamiento
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Los desarrollos modernos en la metodología de aprendizaje automático han producido enfoques efectivos para el reconocimiento de emociones en el habla. El campo de la minería de datos se emplea ampliamente en numerosas situaciones donde es posible predecir resultados futuros utilizando la secuencia de entrada de datos de entrenamiento previos. Dado que el espacio de características de entrada y la distribución de datos son los mismos tanto para los datos de entrenamiento como para los de prueba en los enfoques convencionales de aprendizaje automático, se extraen del mismo conjunto. Sin embargo, dado que muchas aplicaciones requieren una diferencia en la distribución de los datos de entrenamiento y prueba, la recopilación de datos de entrenamiento se está volviendo cada vez más costosa. En estas situaciones, se necesitan aprendices de alto rendimiento que hayan sido entrenados utilizando datos similares ya existentes. Para aumentar la capacidad de aprendizaje de un modelo, el aprendizaje por transferencia implica transferir conocimientos de un dominio a otro dominio relacionado. Para abordar este escenario, hemos extraído diez características multidimensionales de señales de habla utilizando OpenSmile y un método de aprendizaje por transferencia para clasificar las características de varios conjuntos de datos. En este artículo, enfatizamos la importancia de un nuevo sistema de aprendizaje por transferencia llamado Unificación y Adaptación Basada en Tareas (TUA), que cierra la disparidad entre un extenso entrenamiento inicial y una personalización posterior. Aprovechamos los dos componentes del TUA, la unificación desafiante de tareas y la adaptación específica de tareas. Nuestro algoritmo se estudia utilizando los siguientes conjuntos de datos de habla: el conjunto de datos de habla con acento emiratí árabe (ESD), el conjunto de datos de habla en inglés bajo estrés simulado y real (SUSAS) y el conjunto de datos de la base de datos audiovisual de habla y canción emocional de Ryerson (RAVDESS). Utilizando las características multidimensionales y el método de aprendizaje por transferencia en los conjuntos de datos dados, pudimos lograr una tasa promedio de reconocimiento de emociones en el habla del 91.2% en el ESD, 84.7% en el RAVDESS y 88.5% en los conjuntos de datos SUSAS, respectivamente.
Descripción
Los desarrollos modernos en la metodología de aprendizaje automático han producido enfoques efectivos para el reconocimiento de emociones en el habla. El campo de la minería de datos se emplea ampliamente en numerosas situaciones donde es posible predecir resultados futuros utilizando la secuencia de entrada de datos de entrenamiento previos. Dado que el espacio de características de entrada y la distribución de datos son los mismos tanto para los datos de entrenamiento como para los de prueba en los enfoques convencionales de aprendizaje automático, se extraen del mismo conjunto. Sin embargo, dado que muchas aplicaciones requieren una diferencia en la distribución de los datos de entrenamiento y prueba, la recopilación de datos de entrenamiento se está volviendo cada vez más costosa. En estas situaciones, se necesitan aprendices de alto rendimiento que hayan sido entrenados utilizando datos similares ya existentes. Para aumentar la capacidad de aprendizaje de un modelo, el aprendizaje por transferencia implica transferir conocimientos de un dominio a otro dominio relacionado. Para abordar este escenario, hemos extraído diez características multidimensionales de señales de habla utilizando OpenSmile y un método de aprendizaje por transferencia para clasificar las características de varios conjuntos de datos. En este artículo, enfatizamos la importancia de un nuevo sistema de aprendizaje por transferencia llamado Unificación y Adaptación Basada en Tareas (TUA), que cierra la disparidad entre un extenso entrenamiento inicial y una personalización posterior. Aprovechamos los dos componentes del TUA, la unificación desafiante de tareas y la adaptación específica de tareas. Nuestro algoritmo se estudia utilizando los siguientes conjuntos de datos de habla: el conjunto de datos de habla con acento emiratí árabe (ESD), el conjunto de datos de habla en inglés bajo estrés simulado y real (SUSAS) y el conjunto de datos de la base de datos audiovisual de habla y canción emocional de Ryerson (RAVDESS). Utilizando las características multidimensionales y el método de aprendizaje por transferencia en los conjuntos de datos dados, pudimos lograr una tasa promedio de reconocimiento de emociones en el habla del 91.2% en el ESD, 84.7% en el RAVDESS y 88.5% en los conjuntos de datos SUSAS, respectivamente.