Revisando Softmax para la Aproximación de Incertidumbre en la Clasificación de Texto
Autores: Holm, Andreas Nugaard; Wright, Dustin; Augenstein, Isabelle
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Revisando Softmax para la Aproximación de Incertidumbre en la Clasificación de Texto
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Aproximación de incertidumbre
Clasificación de texto
Abandono de Monte Carlo
Softmax
Incertidumbre del modelo
Costo computacional
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
La aproximación de la incertidumbre en la clasificación de texto es un área importante con aplicaciones en la adaptación de dominio y la interpretabilidad. Uno de los métodos de aproximación de incertidumbre más utilizados es el dropout de Monte Carlo (MC), que es computacionalmente costoso ya que requiere múltiples pasadas hacia adelante a través del modelo. Una alternativa más económica es simplemente usar un softmax basado en una única pasada hacia adelante sin dropout para estimar la incertidumbre del modelo. Sin embargo, trabajos anteriores han indicado que estas predicciones tienden a ser excesivamente confiadas. En este artículo, realizamos un análisis empírico exhaustivo de estos métodos en cinco conjuntos de datos con dos arquitecturas neuronales base para identificar las compensaciones entre ambos. Comparamos tanto el softmax como una versión eficiente del dropout de MC en sus aproximaciones de incertidumbre y el rendimiento de la clasificación de texto en downstream, mientras sopesamos su tiempo de ejecución (costo) frente al rendimiento (beneficio). Encontramos que, aunque el dropout de MC produce las mejores aproximaciones de incertidumbre, el uso de un simple softmax conduce a una estimación de incertidumbre competitiva y, en algunos casos, mejor para la clasificación de texto a un costo computacional mucho más bajo, lo que sugiere que el softmax puede ser, de hecho, una estimación de incertidumbre suficiente cuando los recursos computacionales son una preocupación.
Descripción
La aproximación de la incertidumbre en la clasificación de texto es un área importante con aplicaciones en la adaptación de dominio y la interpretabilidad. Uno de los métodos de aproximación de incertidumbre más utilizados es el dropout de Monte Carlo (MC), que es computacionalmente costoso ya que requiere múltiples pasadas hacia adelante a través del modelo. Una alternativa más económica es simplemente usar un softmax basado en una única pasada hacia adelante sin dropout para estimar la incertidumbre del modelo. Sin embargo, trabajos anteriores han indicado que estas predicciones tienden a ser excesivamente confiadas. En este artículo, realizamos un análisis empírico exhaustivo de estos métodos en cinco conjuntos de datos con dos arquitecturas neuronales base para identificar las compensaciones entre ambos. Comparamos tanto el softmax como una versión eficiente del dropout de MC en sus aproximaciones de incertidumbre y el rendimiento de la clasificación de texto en downstream, mientras sopesamos su tiempo de ejecución (costo) frente al rendimiento (beneficio). Encontramos que, aunque el dropout de MC produce las mejores aproximaciones de incertidumbre, el uso de un simple softmax conduce a una estimación de incertidumbre competitiva y, en algunos casos, mejor para la clasificación de texto a un costo computacional mucho más bajo, lo que sugiere que el softmax puede ser, de hecho, una estimación de incertidumbre suficiente cuando los recursos computacionales son una preocupación.