Utilizando el mecanismo de atención para predecir la precisión en redes neuronales cuantizadas
Autores: Wei, Lu; Ma, Zhong; Yang, Chaojie; Yao, Qin; Zheng, Wei
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
Utilizando el mecanismo de atención para predecir la precisión en redes neuronales cuantizadas
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Cuantización
Modelos de redes neuronales
Pérdida de precisión
Aprendizaje profundo
Mecanismo de auto-atención
Codificador de transformadores
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 21
Citaciones: Sin citaciones
La cuantificación juega un papel crucial en la implementación de modelos de redes neuronales en hardware con recursos limitados. Sin embargo, los métodos actuales de cuantificación presentan problemas como la gran pérdida de precisión y la pobre generalización para tareas complejas. Estos problemas representan obstáculos para la aplicación práctica del aprendizaje profundo y de grandes modelos de lenguaje en sistemas inteligentes.
Descripción
La cuantificación juega un papel crucial en la implementación de modelos de redes neuronales en hardware con recursos limitados. Sin embargo, los métodos actuales de cuantificación presentan problemas como la gran pérdida de precisión y la pobre generalización para tareas complejas. Estos problemas representan obstáculos para la aplicación práctica del aprendizaje profundo y de grandes modelos de lenguaje en sistemas inteligentes.