logo móvil
Contáctanos

Revisando Softmax para la Aproximación de Incertidumbre en la Clasificación de Texto

Autores: Holm, Andreas Nugaard; Wright, Dustin; Augenstein, Isabelle

Idioma: Inglés

Editor: MDPI

Año: 2023

Descargar PDF

Acceso abierto

Artículo científico
2023

Revisando Softmax para la Aproximación de Incertidumbre en la Clasificación de Texto


Categoría

Gestión y administración

Subcategoría

Gestión de la tecnología y la inovación

Palabras clave

Aproximación de incertidumbre
Clasificación de texto
Abandono de Monte Carlo
Softmax
Incertidumbre del modelo
Costo computacional

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 1

Citaciones: Sin citaciones


Descripción
La aproximación de la incertidumbre en la clasificación de texto es un área importante con aplicaciones en la adaptación de dominio y la interpretabilidad. Uno de los métodos de aproximación de incertidumbre más utilizados es el dropout de Monte Carlo (MC), que es computacionalmente costoso ya que requiere múltiples pasadas hacia adelante a través del modelo. Una alternativa más económica es simplemente usar un softmax basado en una única pasada hacia adelante sin dropout para estimar la incertidumbre del modelo. Sin embargo, trabajos anteriores han indicado que estas predicciones tienden a ser excesivamente confiadas. En este artículo, realizamos un análisis empírico exhaustivo de estos métodos en cinco conjuntos de datos con dos arquitecturas neuronales base para identificar las compensaciones entre ambos. Comparamos tanto el softmax como una versión eficiente del dropout de MC en sus aproximaciones de incertidumbre y el rendimiento de la clasificación de texto en downstream, mientras sopesamos su tiempo de ejecución (costo) frente al rendimiento (beneficio). Encontramos que, aunque el dropout de MC produce las mejores aproximaciones de incertidumbre, el uso de un simple softmax conduce a una estimación de incertidumbre competitiva y, en algunos casos, mejor para la clasificación de texto a un costo computacional mucho más bajo, lo que sugiere que el softmax puede ser, de hecho, una estimación de incertidumbre suficiente cuando los recursos computacionales son una preocupación.

Otros recursos que podrían interesarte

Temas Virtualpro