Optimización de enjambre de partículas basada en la abstracción del modelo y generación de explicaciones para una red neuronal recurrente
Autores: Liu, Yang; Wang, Huadong; Ma, Yan
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Optimización de enjambre de partículas basada en la abstracción del modelo y generación de explicaciones para una red neuronal recurrente
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Software
Palabras clave
Redes neuronales recurrentes
Abstracción de modelo
Algoritmo PSO
Estado del proceso de decisión
Autómatas finitos probabilísticos
Generación de explicaciones
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 20
Citaciones: Sin citaciones
En los modelos de clasificación de texto, la complejidad de las redes neuronales recurrentes (RNN) es muy alta debido al vasto espacio de estados y la incertidumbre de las transiciones, lo que hace que la explicabilidad del clasificador RNN sea insuficiente. Es casi imposible explicar directamente la RNN a gran escala. Un método factible es generalizar las reglas que la subyacen, es decir, la abstracción del modelo. Para hacer frente a la baja eficiencia y la pérdida excesiva de información en la abstracción del modelo existente para las RNN, este trabajo propone un método de abstracción y generación de explicaciones basado en PSO (Optimización por Enjambre de Partículas) para las RNN. En primer lugar, se aplica el clustering de k-medias para dividir preliminarmente el estado del proceso de decisión de la RNN. En segundo lugar, se construye un árbol de prefijos de frecuencia basado en las trazas, y se diseña un algoritmo PSO para implementar la fusión de estados para abordar el problema del vasto espacio de estados. Luego, se construye un AEP (autómata finito probabilístico) para explicar la estructura de la RNN preservando la información original de la RNN tanto como sea posible. Finalmente, las palabras clave cuantitativas se etiquetan como una explicación de los resultados de clasificación, que se generan automáticamente con el modelo abstracto AEP. Demostramos la viabilidad y efectividad del método propuesto en algunos casos.
Descripción
En los modelos de clasificación de texto, la complejidad de las redes neuronales recurrentes (RNN) es muy alta debido al vasto espacio de estados y la incertidumbre de las transiciones, lo que hace que la explicabilidad del clasificador RNN sea insuficiente. Es casi imposible explicar directamente la RNN a gran escala. Un método factible es generalizar las reglas que la subyacen, es decir, la abstracción del modelo. Para hacer frente a la baja eficiencia y la pérdida excesiva de información en la abstracción del modelo existente para las RNN, este trabajo propone un método de abstracción y generación de explicaciones basado en PSO (Optimización por Enjambre de Partículas) para las RNN. En primer lugar, se aplica el clustering de k-medias para dividir preliminarmente el estado del proceso de decisión de la RNN. En segundo lugar, se construye un árbol de prefijos de frecuencia basado en las trazas, y se diseña un algoritmo PSO para implementar la fusión de estados para abordar el problema del vasto espacio de estados. Luego, se construye un AEP (autómata finito probabilístico) para explicar la estructura de la RNN preservando la información original de la RNN tanto como sea posible. Finalmente, las palabras clave cuantitativas se etiquetan como una explicación de los resultados de clasificación, que se generan automáticamente con el modelo abstracto AEP. Demostramos la viabilidad y efectividad del método propuesto en algunos casos.