Un estudio matemático sobre alucinación y creatividad en modelos GPT
Autores: Lee, Minhyeok
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Un estudio matemático sobre alucinación y creatividad en modelos GPT
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Completo
Análisis matemático
Fenómeno de alucinación
Modelos GPT
Creatividad
Compensación
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 42
Citaciones: Sin citaciones
En este trabajo, presentamos un análisis matemático exhaustivo del fenómeno de la alucinación en los modelos transformadores preentrenados generativos (GPT). Definimos y medimos rigurosamente la alucinación y la creatividad utilizando conceptos de teoría de la probabilidad y teoría de la información. Al introducir una familia paramétrica de modelos GPT, caracterizamos el equilibrio entre la alucinación y la creatividad e identificamos un balance óptimo que maximiza el rendimiento del modelo en diversas tareas. Nuestro trabajo ofrece un marco matemático novedoso para comprender los orígenes e implicaciones de la alucinación en los modelos GPT y allana el camino para futuras investigaciones y desarrollos en el campo de los grandes modelos de lenguaje (LLMs).
Descripción
En este trabajo, presentamos un análisis matemático exhaustivo del fenómeno de la alucinación en los modelos transformadores preentrenados generativos (GPT). Definimos y medimos rigurosamente la alucinación y la creatividad utilizando conceptos de teoría de la probabilidad y teoría de la información. Al introducir una familia paramétrica de modelos GPT, caracterizamos el equilibrio entre la alucinación y la creatividad e identificamos un balance óptimo que maximiza el rendimiento del modelo en diversas tareas. Nuestro trabajo ofrece un marco matemático novedoso para comprender los orígenes e implicaciones de la alucinación en los modelos GPT y allana el camino para futuras investigaciones y desarrollos en el campo de los grandes modelos de lenguaje (LLMs).