TabMoE: un marco general para el razonamiento diverso basado en tablas con mezcla de expertos
Autores: Wu, Jie; Hou, Mengshu
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
TabMoE: un marco general para el razonamiento diverso basado en tablas con mezcla de expertos
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Tablas
Formato de datos
Datos tabulares
Pre-entrenamiento
Razonamiento lógico
Marco de trabajo
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 19
Citaciones: Sin citaciones
Las tablas sirven como un formato de datos ampliamente adoptado, atrayendo un considerable interés académico en cuanto a la comprensión semántica y la inferencia lógica de las tablas. En los últimos años, el paradigma predominante de pre-entrenamiento y ajuste fino en datos tabulares se ha vuelto cada vez más prominente en la investigación sobre comprensión de tablas. Sin embargo, los métodos de pre-entrenamiento basados en tablas existentes exhiben con frecuencia limitaciones, apoyando solo tareas individuales y requiriendo recursos computacionales sustanciales, lo que dificulta su eficiencia y aplicabilidad. En este documento, presentamos el TabMoE, un nuevo marco basado en una mezcla de expertos, diseñado para manejar una amplia gama de tareas que implican razonamiento lógico sobre datos tabulares. Cada experto dentro del modelo se especializa en una función lógica distinta y se entrena a través de la utilización de un algoritmo de Expectation-Maximization duro. Notablemente, este marco elimina la necesidad de depender del pre-entrenamiento tabular, en lugar de emplear exclusivamente datos específicos de tareas limitadas para mejorar significativamente las capacidades inferenciales de los modelos. Realizamos experimentos empíricos en tres tareas típicas relacionadas con datos tabulares: responder preguntas basadas en tablas, verificar hechos basados en tablas y generar texto a partir de tablas. Los resultados experimentales subrayan la innovación y viabilidad de nuestro marco.
Descripción
Las tablas sirven como un formato de datos ampliamente adoptado, atrayendo un considerable interés académico en cuanto a la comprensión semántica y la inferencia lógica de las tablas. En los últimos años, el paradigma predominante de pre-entrenamiento y ajuste fino en datos tabulares se ha vuelto cada vez más prominente en la investigación sobre comprensión de tablas. Sin embargo, los métodos de pre-entrenamiento basados en tablas existentes exhiben con frecuencia limitaciones, apoyando solo tareas individuales y requiriendo recursos computacionales sustanciales, lo que dificulta su eficiencia y aplicabilidad. En este documento, presentamos el TabMoE, un nuevo marco basado en una mezcla de expertos, diseñado para manejar una amplia gama de tareas que implican razonamiento lógico sobre datos tabulares. Cada experto dentro del modelo se especializa en una función lógica distinta y se entrena a través de la utilización de un algoritmo de Expectation-Maximization duro. Notablemente, este marco elimina la necesidad de depender del pre-entrenamiento tabular, en lugar de emplear exclusivamente datos específicos de tareas limitadas para mejorar significativamente las capacidades inferenciales de los modelos. Realizamos experimentos empíricos en tres tareas típicas relacionadas con datos tabulares: responder preguntas basadas en tablas, verificar hechos basados en tablas y generar texto a partir de tablas. Los resultados experimentales subrayan la innovación y viabilidad de nuestro marco.