logo móvil
Contáctanos

Redes de Ensamblaje de Ladrillos: una red efectiva para problemas de aprendizaje incremental

Autores: Ho, Jiacang; Kang, Dae-Ki

Idioma: Inglés

Editor: MDPI

Año: 2020

Descargar PDF

Acceso abierto

Artículo científico
2020

Redes de Ensamblaje de Ladrillos: una red efectiva para problemas de aprendizaje incremental


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Redes neuronales
Problema de aprendizaje incremental
Aprendizaje de transferencia
Red de Ensamblaje de Ladrillos (BAN)
Subred
Función de pérdida

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 34

Citaciones: Sin citaciones


Descripción
Las redes neuronales profundas han logrado un alto rendimiento en la clasificación de imágenes, generación de imágenes, reconocimiento de voz, procesamiento de lenguaje natural, etc.; sin embargo, aún se enfrentan a varios desafíos abiertos que deben resolverse, como el problema del aprendizaje incremental, el sobreajuste en las redes neuronales, la optimización de hiperparámetros, la falta de flexibilidad y la multitarea, etc. En este documento, nos centramos en el problema del aprendizaje incremental, que está relacionado con metodologías de aprendizaje automático que entrenan continuamente un modelo existente con conocimientos adicionales. Hasta donde sabemos, una solución simple y directa para resolver este desafío es volver a entrenar toda la red neuronal después de agregar las nuevas etiquetas en la capa de salida. Además, el aprendizaje por transferencia solo se puede aplicar si el dominio de las nuevas etiquetas está relacionado con el dominio de las etiquetas que ya se han entrenado en la red neuronal. En este documento, proponemos una nueva arquitectura de red, llamada Red de Ensamblaje de Ladrillos (BAN), que permite que una red entrenada ensamble (o desmonte) una nueva etiqueta a (o desde) una red neuronal entrenada sin volver a entrenar toda la red. En BAN, entrenamos etiquetas con un subred (es decir, una red neuronal simple) individualmente y luego ensamblamos las subredes convergidas que se han entrenado para una sola etiqueta juntas para formar una red neuronal completa. Para cada etiqueta que se va a entrenar en un subred de BAN, introducimos una nueva función de pérdida que minimiza la pérdida de la red con datos de una sola clase. Aplicar una función de pérdida para cada etiqueta de clase es único y diferente de las arquitecturas estándar de redes neuronales (por ejemplo, AlexNet, ResNet, InceptionV3, etc.) que utilizan los valores de una función de pérdida de múltiples etiquetas para minimizar el error de la red. La diferencia entre las funciones de pérdida de enfoques anteriores y la que hemos introducido es que calculamos valores de pérdida a partir de los valores de nodos de la capa penúltima (que hemos llamado capa característica) en lugar de la capa de salida donde se produce el cálculo de los valores de pérdida entre las etiquetas reales y las etiquetas predichas. A partir de los resultados experimentales en varios conjuntos de datos de referencia, evaluamos que BAN muestra una fuerte capacidad para agregar (y quitar) una nueva etiqueta a una red entrenada en comparación con una red neuronal estándar y otros trabajos anteriores.

Otros recursos que podrían interesarte

Temas Virtualpro