Gran aceleración de la inferencia del modelo de lenguaje basada en la predicción de ramas del modelo híbrido
Autores: Duan, Gaoxiang; Chen, Jiajie; Zhou, Yueying; Zheng, Xiaoying; Zhu, Yongxin
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Gran aceleración de la inferencia del modelo de lenguaje basada en la predicción de ramas del modelo híbrido
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Modelos de aprendizaje profundo
Tiempo de inferencia
Modelos autoregresivos
Estrategia de aceleración de modelos híbridos
Predicción de ramas
Generación de texto
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 54
Citaciones: Sin citaciones
A medida que el tamaño de los modelos de aprendizaje profundo sigue expandiéndose, la prolongación del tiempo de inferencia ha evolucionado gradualmente en un desafío significativo para la eficiencia y la practicidad de los modelos autoregresivos.
Descripción
A medida que el tamaño de los modelos de aprendizaje profundo sigue expandiéndose, la prolongación del tiempo de inferencia ha evolucionado gradualmente en un desafío significativo para la eficiencia y la practicidad de los modelos autoregresivos.