Red neuronal artificial generativa de mejora automática para el aprendizaje de clases incrementales mediante pseudorreforzamiento
Autores: Mellado, Diego; Saavedra, Carolina; Chabert, Steren; Torres, Romina; Salas, Rodrigo
Idioma: Inglés
Editor: MDPI
Año: 2019
Acceso abierto
Artículo científico
2019
Red neuronal artificial generativa de mejora automática para el aprendizaje de clases incrementales mediante pseudorreforzamiento
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Software
Palabras clave
Modelos de aprendizaje profundo
Redes neuronales artificiales
Interferencia catastrófica
Red neuronal artificial generativa auto-mejoradora
Aprendizaje incremental
Nuevas clases
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 44
Citaciones: Sin citaciones
Los modelos de aprendizaje profundo son parte de la familia de redes neuronales artificiales y, como tales, sufren de interferencia catastrófica al aprender de forma secuencial. Además, la mayoría de estos modelos tienen una arquitectura rígida que impide el aprendizaje incremental de nuevas clases. Para superar estas desventajas, proponemos la Red Neural Artificial Generativa de Mejora Automática (SIGANN), un sistema de red neuronal profunda de extremo a extremo que puede aliviar el problema de olvido catastrófico al aprender nuevas clases. En este método, introducimos un modelo de detección novedoso que detecta automáticamente muestras de nuevas clases, y un auto-codificador adversarial se utiliza para producir muestras de clases anteriores. Este sistema consta de tres módulos principales: un módulo clasificador implementado utilizando una Red Neuronal Convolucional Profunda, un módulo generador basado en un auto-codificador adversarial, y un módulo de detección de novedades implementado utilizando una función de activación OpenMax. Utilizando el conjunto de datos EMNIST, el modelo fue entrenado de forma incremental, comenzando con un pequeño conjunto de clases. Los resultados de la simulación muestran que SIGANN puede retener conocimientos previos mientras incorpora un olvido gradual de cada secuencia de aprendizaje a una tasa de aproximadamente el 7% por paso de entrenamiento. Además, SIGANN puede detectar nuevas clases que están ocultas en los datos con una precisión mediana del 43% y, por lo tanto, proceder con el aprendizaje de clases de forma incremental.
Descripción
Los modelos de aprendizaje profundo son parte de la familia de redes neuronales artificiales y, como tales, sufren de interferencia catastrófica al aprender de forma secuencial. Además, la mayoría de estos modelos tienen una arquitectura rígida que impide el aprendizaje incremental de nuevas clases. Para superar estas desventajas, proponemos la Red Neural Artificial Generativa de Mejora Automática (SIGANN), un sistema de red neuronal profunda de extremo a extremo que puede aliviar el problema de olvido catastrófico al aprender nuevas clases. En este método, introducimos un modelo de detección novedoso que detecta automáticamente muestras de nuevas clases, y un auto-codificador adversarial se utiliza para producir muestras de clases anteriores. Este sistema consta de tres módulos principales: un módulo clasificador implementado utilizando una Red Neuronal Convolucional Profunda, un módulo generador basado en un auto-codificador adversarial, y un módulo de detección de novedades implementado utilizando una función de activación OpenMax. Utilizando el conjunto de datos EMNIST, el modelo fue entrenado de forma incremental, comenzando con un pequeño conjunto de clases. Los resultados de la simulación muestran que SIGANN puede retener conocimientos previos mientras incorpora un olvido gradual de cada secuencia de aprendizaje a una tasa de aproximadamente el 7% por paso de entrenamiento. Además, SIGANN puede detectar nuevas clases que están ocultas en los datos con una precisión mediana del 43% y, por lo tanto, proceder con el aprendizaje de clases de forma incremental.