Estrategias de reducción de datos ligeras y elegantes para acelerar el entrenamiento de redes neuronales convolucionales
Autores: Demidovskij, Alexander; Tugaryov, Artyom; Trutnev, Aleksei; Kazyulina, Marina; Salnikov, Igor; Pavlov, Stanislav
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Estrategias de reducción de datos ligeras y elegantes para acelerar el entrenamiento de redes neuronales convolucionales
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Demandas industriales
Datos de entrenamiento
Redes neuronales profundas
Muestreo Adaptativo de Importancia en Línea
IDS
Aceleración del entrenamiento
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 30
Citaciones: Sin citaciones
Debido a las demandas industriales de manejar cantidades crecientes de datos de entrenamiento, reducir el costo de computar un modelo a la vez y disminuir los efectos ecológicos del consumo intensivo de recursos informáticos, la tarea de acelerar el entrenamiento de redes neuronales profundas se vuelve sumamente desafiante. El Muestreo de Importancia en Línea Adaptativo y IDS son dos métodos completamente nuevos para acelerar el entrenamiento que se presentan en esta investigación. Por un lado, el Muestreo de Importancia en Línea Adaptativo acelera el entrenamiento de redes neuronales al reducir la cantidad de pasos dependiendo de qué tan mal un modelo puede identificar una muestra de datos dada. Por otro lado, la Selección de Datos Intelectuales acelera el entrenamiento al eliminar redundancias semánticas del conjunto de datos de entrenamiento y posteriormente reducir la cantidad de pasos de entrenamiento. El estudio informa una aceleración promedio del entrenamiento de 1.9 veces para ResNet50, ResNet18, MobileNet v2 y YOLO v5 en una variedad de conjuntos de datos: CIFAR-100, CIFAR-10, ImageNet 2012 y MS COCO 2017, donde los datos de entrenamiento se reducen hasta cinco veces. La aplicación del Muestreo de Importancia en Línea Adaptativo al entrenamiento de ResNet50 en ImageNet 2012 resulta en una convergencia 2.37 veces más rápida al 71.7% de precisión top-1, que está dentro del 5% del valor base. El tiempo total de entrenamiento para el mismo número de épocas que el valor base se reduce en 1.82 veces, con una disminución de precisión de 2.45 p.p. El tiempo requerido para aplicar la Selección de Datos Intelectuales al entrenamiento de ResNet50 en ImageNet 2012 se reduce en 1.27 veces con una disminución correspondiente en la precisión de 1.12 p.p. La aplicación de ambos métodos al entrenamiento de ResNet50 en ImageNet 2012 resulta en una aceleración de 2.31 con una disminución de precisión de 3.5 p.p.
Descripción
Debido a las demandas industriales de manejar cantidades crecientes de datos de entrenamiento, reducir el costo de computar un modelo a la vez y disminuir los efectos ecológicos del consumo intensivo de recursos informáticos, la tarea de acelerar el entrenamiento de redes neuronales profundas se vuelve sumamente desafiante. El Muestreo de Importancia en Línea Adaptativo y IDS son dos métodos completamente nuevos para acelerar el entrenamiento que se presentan en esta investigación. Por un lado, el Muestreo de Importancia en Línea Adaptativo acelera el entrenamiento de redes neuronales al reducir la cantidad de pasos dependiendo de qué tan mal un modelo puede identificar una muestra de datos dada. Por otro lado, la Selección de Datos Intelectuales acelera el entrenamiento al eliminar redundancias semánticas del conjunto de datos de entrenamiento y posteriormente reducir la cantidad de pasos de entrenamiento. El estudio informa una aceleración promedio del entrenamiento de 1.9 veces para ResNet50, ResNet18, MobileNet v2 y YOLO v5 en una variedad de conjuntos de datos: CIFAR-100, CIFAR-10, ImageNet 2012 y MS COCO 2017, donde los datos de entrenamiento se reducen hasta cinco veces. La aplicación del Muestreo de Importancia en Línea Adaptativo al entrenamiento de ResNet50 en ImageNet 2012 resulta en una convergencia 2.37 veces más rápida al 71.7% de precisión top-1, que está dentro del 5% del valor base. El tiempo total de entrenamiento para el mismo número de épocas que el valor base se reduce en 1.82 veces, con una disminución de precisión de 2.45 p.p. El tiempo requerido para aplicar la Selección de Datos Intelectuales al entrenamiento de ResNet50 en ImageNet 2012 se reduce en 1.27 veces con una disminución correspondiente en la precisión de 1.12 p.p. La aplicación de ambos métodos al entrenamiento de ResNet50 en ImageNet 2012 resulta en una aceleración de 2.31 con una disminución de precisión de 3.5 p.p.