Clasificación automática de modulación con redes neuronales a través de destilación de conocimiento
Autores: Wang, Shuai; Liu, Chunwu
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Clasificación automática de modulación con redes neuronales a través de destilación de conocimiento
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Aprendizaje profundo
Redes neuronales
Precisión de clasificación
Destilación de conocimiento
Profundidad de red
Potencia computacional
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 29
Citaciones: Sin citaciones
El aprendizaje profundo se utiliza para el reconocimiento automático de modulación en redes neuronales, y debido a la necesidad de una alta precisión de clasificación, se utilizan redes cada vez más profundas. Sin embargo, estas son computacionalmente muy costosas para el entrenamiento e inferencia de redes neuronales, por lo que su utilidad en el caso de un móvil con limitaciones de memoria o débil potencia computacional es cuestionable. Como resultado, se debe considerar un equilibrio entre la profundidad de la red y la precisión de clasificación de la red. Para abordar este problema, utilizamos un método de destilación de conocimiento en este estudio para mejorar la precisión de clasificación de un modelo de red pequeña. Primero, entrenamos Inception-Resnet como red maestra, que tiene un tamaño de 311,77 MB y una precisión de clasificación máxima final del 93,09%. Utilizamos el método para entrenar la red neuronal convolucional 3 (CNN3) y aumentar su precisión de clasificación máxima de 79,81 a 89,36%, con un tamaño de red de 0,37 MB. También se utilizó de manera similar para entrenar mini Inception-Resnet y aumentar su precisión máxima de 84,18 a 93,59%, con un tamaño de red de 39,69 MB. Cuando comparamos todos los picos de precisión de clasificación, descubrimos que la destilación de conocimiento mejoró las redes pequeñas y que la red estudiante tenía el potencial de superar a la red maestra. Utilizando la destilación de conocimiento, un modelo de red pequeña puede lograr la precisión de clasificación de un modelo de red grande. En la práctica, elegir la red estudiante apropiada basándose en las limitaciones de las condiciones de uso mientras se utiliza la destilación de conocimiento (KD) sería una forma de satisfacer las necesidades prácticas.
Descripción
El aprendizaje profundo se utiliza para el reconocimiento automático de modulación en redes neuronales, y debido a la necesidad de una alta precisión de clasificación, se utilizan redes cada vez más profundas. Sin embargo, estas son computacionalmente muy costosas para el entrenamiento e inferencia de redes neuronales, por lo que su utilidad en el caso de un móvil con limitaciones de memoria o débil potencia computacional es cuestionable. Como resultado, se debe considerar un equilibrio entre la profundidad de la red y la precisión de clasificación de la red. Para abordar este problema, utilizamos un método de destilación de conocimiento en este estudio para mejorar la precisión de clasificación de un modelo de red pequeña. Primero, entrenamos Inception-Resnet como red maestra, que tiene un tamaño de 311,77 MB y una precisión de clasificación máxima final del 93,09%. Utilizamos el método para entrenar la red neuronal convolucional 3 (CNN3) y aumentar su precisión de clasificación máxima de 79,81 a 89,36%, con un tamaño de red de 0,37 MB. También se utilizó de manera similar para entrenar mini Inception-Resnet y aumentar su precisión máxima de 84,18 a 93,59%, con un tamaño de red de 39,69 MB. Cuando comparamos todos los picos de precisión de clasificación, descubrimos que la destilación de conocimiento mejoró las redes pequeñas y que la red estudiante tenía el potencial de superar a la red maestra. Utilizando la destilación de conocimiento, un modelo de red pequeña puede lograr la precisión de clasificación de un modelo de red grande. En la práctica, elegir la red estudiante apropiada basándose en las limitaciones de las condiciones de uso mientras se utiliza la destilación de conocimiento (KD) sería una forma de satisfacer las necesidades prácticas.