Algoritmo de Aproximación Lineal Local para Redes Neuronales
Autores: Zeng, Mudong; Liao, Yujie; Li, Runze; Sudjianto, Agus
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Algoritmo de Aproximación Lineal Local para Redes Neuronales
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Estrategia de entrenamiento
Estimación
Pesos
Sesgos
Red neuronal feedforward
Aproximación lineal local
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 35
Citaciones: Sin citaciones
Este documento tiene como objetivo desarrollar una nueva estrategia de entrenamiento para mejorar la eficiencia en la estimación de pesos y sesgos en una red neuronal feedforward (FNN). Proponemos un algoritmo de aproximación lineal local (LLA), que aproxima ReLU con una función lineal a nivel de neurona y estima los pesos y sesgos de una red neuronal de una capa oculta de forma iterativa. Además, proponemos la red neuronal adaptativa optimizada por capas (LOAN), en la que utilizamos LLA para estimar los pesos y sesgos en la capa LOAN de forma adaptativa. Comparamos el rendimiento de LLA con los procedimientos comúnmente utilizados en aprendizaje automático basados en siete conjuntos de datos de referencia. La comparación numérica sugiere que el algoritmo propuesto puede superar a los procedimientos existentes en cuanto a tiempo de entrenamiento y precisión de predicción.
Descripción
Este documento tiene como objetivo desarrollar una nueva estrategia de entrenamiento para mejorar la eficiencia en la estimación de pesos y sesgos en una red neuronal feedforward (FNN). Proponemos un algoritmo de aproximación lineal local (LLA), que aproxima ReLU con una función lineal a nivel de neurona y estima los pesos y sesgos de una red neuronal de una capa oculta de forma iterativa. Además, proponemos la red neuronal adaptativa optimizada por capas (LOAN), en la que utilizamos LLA para estimar los pesos y sesgos en la capa LOAN de forma adaptativa. Comparamos el rendimiento de LLA con los procedimientos comúnmente utilizados en aprendizaje automático basados en siete conjuntos de datos de referencia. La comparación numérica sugiere que el algoritmo propuesto puede superar a los procedimientos existentes en cuanto a tiempo de entrenamiento y precisión de predicción.