Optimización no suave basada en redes neuronales sin hiperparámetros para regresión a gran escala
Autores: Karmitsa, Napsu; Taheri, Sona; Joki, Kaisa; Paasivirta, Pauliina; Bagirov, Adil M.; Mäkelä, Marko M.
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Optimización no suave basada en redes neuronales sin hiperparámetros para regresión a gran escala
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Software
Palabras clave
Algoritmo
Regresión
Redes neuronales
Optimización
Activación
Conjuntos de datos
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 25
Citaciones: Sin citaciones
En este documento se presenta un nuevo algoritmo basado en optimización no suave para resolver problemas de regresión a gran escala. El problema de regresión se modela como redes neuronales feedforward totalmente conectadas con una capa oculta, activación lineal por tramos y funciones de pérdida -. Se aplica una versión modificada del método de paquete de memoria limitada para minimizar este objetivo no suave. Además, se desarrolla un enfoque constructivo novedoso para la determinación automatizada del número adecuado de nodos ocultos. Finalmente, se utilizan grandes conjuntos de datos del mundo real para evaluar el algoritmo propuesto y compararlo con algunos algoritmos de redes neuronales de vanguardia para regresión. Los resultados demuestran la superioridad del algoritmo propuesto como herramienta predictiva en la mayoría de los conjuntos de datos utilizados en experimentos numéricos.
Descripción
En este documento se presenta un nuevo algoritmo basado en optimización no suave para resolver problemas de regresión a gran escala. El problema de regresión se modela como redes neuronales feedforward totalmente conectadas con una capa oculta, activación lineal por tramos y funciones de pérdida -. Se aplica una versión modificada del método de paquete de memoria limitada para minimizar este objetivo no suave. Además, se desarrolla un enfoque constructivo novedoso para la determinación automatizada del número adecuado de nodos ocultos. Finalmente, se utilizan grandes conjuntos de datos del mundo real para evaluar el algoritmo propuesto y compararlo con algunos algoritmos de redes neuronales de vanguardia para regresión. Los resultados demuestran la superioridad del algoritmo propuesto como herramienta predictiva en la mayoría de los conjuntos de datos utilizados en experimentos numéricos.