logo móvil
Contáctanos

Estrategias de reducción de datos ligeras y elegantes para acelerar el entrenamiento de redes neuronales convolucionales

Autores: Demidovskij, Alexander; Tugaryov, Artyom; Trutnev, Aleksei; Kazyulina, Marina; Salnikov, Igor; Pavlov, Stanislav

Idioma: Inglés

Editor: MDPI

Año: 2023

Descargar PDF

Acceso abierto

Artículo científico
2023

Estrategias de reducción de datos ligeras y elegantes para acelerar el entrenamiento de redes neuronales convolucionales


Categoría

Matemáticas

Subcategoría

Matemáticas generales

Palabras clave

Demandas industriales
Datos de entrenamiento
Redes neuronales profundas
Muestreo Adaptativo de Importancia en Línea
IDS
Aceleración del entrenamiento

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 30

Citaciones: Sin citaciones


Descripción
Debido a las demandas industriales de manejar cantidades crecientes de datos de entrenamiento, reducir el costo de computar un modelo a la vez y disminuir los efectos ecológicos del consumo intensivo de recursos informáticos, la tarea de acelerar el entrenamiento de redes neuronales profundas se vuelve sumamente desafiante. El Muestreo de Importancia en Línea Adaptativo y IDS son dos métodos completamente nuevos para acelerar el entrenamiento que se presentan en esta investigación. Por un lado, el Muestreo de Importancia en Línea Adaptativo acelera el entrenamiento de redes neuronales al reducir la cantidad de pasos dependiendo de qué tan mal un modelo puede identificar una muestra de datos dada. Por otro lado, la Selección de Datos Intelectuales acelera el entrenamiento al eliminar redundancias semánticas del conjunto de datos de entrenamiento y posteriormente reducir la cantidad de pasos de entrenamiento. El estudio informa una aceleración promedio del entrenamiento de 1.9 veces para ResNet50, ResNet18, MobileNet v2 y YOLO v5 en una variedad de conjuntos de datos: CIFAR-100, CIFAR-10, ImageNet 2012 y MS COCO 2017, donde los datos de entrenamiento se reducen hasta cinco veces. La aplicación del Muestreo de Importancia en Línea Adaptativo al entrenamiento de ResNet50 en ImageNet 2012 resulta en una convergencia 2.37 veces más rápida al 71.7% de precisión top-1, que está dentro del 5% del valor base. El tiempo total de entrenamiento para el mismo número de épocas que el valor base se reduce en 1.82 veces, con una disminución de precisión de 2.45 p.p. El tiempo requerido para aplicar la Selección de Datos Intelectuales al entrenamiento de ResNet50 en ImageNet 2012 se reduce en 1.27 veces con una disminución correspondiente en la precisión de 1.12 p.p. La aplicación de ambos métodos al entrenamiento de ResNet50 en ImageNet 2012 resulta en una aceleración de 2.31 con una disminución de precisión de 3.5 p.p.

Otros recursos que podrían interesarte

Temas Virtualpro