Información de Botella Elástica
Autores: Ni, Yuyan; Lan, Yanyan; Liu, Ao; Ma, Zhiming
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Información de Botella Elástica
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Cuello de botella de información
Aprendizaje de representaciones
Etiquetas
Algoritmos de aprendizaje profundo
Aprendizaje por transferencia
Adaptación de dominio
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 26
Citaciones: Sin citaciones
El cuello de botella de información es un principio de aprendizaje de representación de naturaleza informacional que tiene como objetivo aprender una representación maximamente comprimida que preserve la mayor cantidad de información sobre las etiquetas posible. Bajo este principio, se han propuesto dos métodos diferentes, es decir, el cuello de botella de información (IB) y el cuello de botella de información determinístico (DIB), y han logrado un progreso significativo en explicar los mecanismos de representación de los algoritmos de aprendizaje profundo. Sin embargo, estos éxitos teóricos y empíricos solo son válidos bajo la suposición de que los datos de entrenamiento y prueba se extraen de la misma distribución, lo cual claramente no se cumple en muchas aplicaciones del mundo real. En este documento, estudiamos sus habilidades de generalización dentro de un escenario de aprendizaje por transferencia, donde el error objetivo podría descomponerse en tres componentes, es decir, error empírico fuente, brecha de generalización fuente (SG) y discrepancia de representación (RD). Al comparar IB y DIB en estos términos, demostramos que el límite de SG de DIB es más estricto que el de IB mientras que la RD de DIB es mayor que la de IB. Por lo tanto, es difícil determinar cuál es mejor. Para equilibrar el compromiso entre SG y la RD, proponemos un cuello de botella de información elástico (EIB) para interpolar entre los regularizadores de IB y DIB, lo cual garantiza una frontera de Pareto dentro del marco de IB. Además, simulaciones y experimentos con datos reales muestran que EIB tiene la capacidad de lograr mejores resultados de adaptación de dominio que IB y DIB, lo que valida la corrección de nuestras teorías.
Descripción
El cuello de botella de información es un principio de aprendizaje de representación de naturaleza informacional que tiene como objetivo aprender una representación maximamente comprimida que preserve la mayor cantidad de información sobre las etiquetas posible. Bajo este principio, se han propuesto dos métodos diferentes, es decir, el cuello de botella de información (IB) y el cuello de botella de información determinístico (DIB), y han logrado un progreso significativo en explicar los mecanismos de representación de los algoritmos de aprendizaje profundo. Sin embargo, estos éxitos teóricos y empíricos solo son válidos bajo la suposición de que los datos de entrenamiento y prueba se extraen de la misma distribución, lo cual claramente no se cumple en muchas aplicaciones del mundo real. En este documento, estudiamos sus habilidades de generalización dentro de un escenario de aprendizaje por transferencia, donde el error objetivo podría descomponerse en tres componentes, es decir, error empírico fuente, brecha de generalización fuente (SG) y discrepancia de representación (RD). Al comparar IB y DIB en estos términos, demostramos que el límite de SG de DIB es más estricto que el de IB mientras que la RD de DIB es mayor que la de IB. Por lo tanto, es difícil determinar cuál es mejor. Para equilibrar el compromiso entre SG y la RD, proponemos un cuello de botella de información elástico (EIB) para interpolar entre los regularizadores de IB y DIB, lo cual garantiza una frontera de Pareto dentro del marco de IB. Además, simulaciones y experimentos con datos reales muestran que EIB tiene la capacidad de lograr mejores resultados de adaptación de dominio que IB y DIB, lo que valida la corrección de nuestras teorías.