Avanzando el generalización de modelos en la adaptación continua cíclica de tiempo de prueba con ruido de perturbación de matriz
Autores: Jiang, Jinshen; Yang, Hao; Yang, Lin; Zhou, Yun
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Avanzando el generalización de modelos en la adaptación continua cíclica de tiempo de prueba con ruido de perturbación de matriz
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Adaptación en tiempo de prueba
Modelo preentrenado fuente
Dominios objetivo
Naturaleza cíclica
CycleTTA
Estadísticas de normalización por lotes
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 18
Citaciones: Sin citaciones
La adaptación en tiempo de prueba (TTA) tiene como objetivo optimizar los parámetros del modelo preentrenado de origen a los dominios de destino utilizando solo datos de prueba no etiquetados. Sin embargo, los métodos tradicionales de TTA a menudo corren el riesgo de sobreajustarse a los dominios de prueba específicos y localizados, lo que lleva a una generalización comprometida. Además, estos métodos generalmente presuponen dominios de destino estáticos, descuidando la naturaleza dinámica y cíclica de los entornos del mundo real. Para aliviar esta limitación, este documento explora el ajuste cíclico continuo en tiempo de prueba (CycleTTA). Nuestro enfoque único dentro de este entorno emplea ruido de perturbación a nivel de matriz en las estadísticas de normalización por lotes para mejorar la adaptabilidad de los modelos preentrenados de origen a los dominios de destino que cambian dinámicamente, sin necesidad de parámetros adicionales. Demostramos la efectividad de nuestro método a través de experimentos extensos, donde nuestro enfoque redujo el error promedio en un 39.8% en el conjunto de datos CIFAR10-C utilizando el modelo WideResNet-28-10, en un 38.8% utilizando el modelo WideResNet-40-2, y en un 33.8% utilizando el modelo PreActResNet-18. Además, en el conjunto de datos CIFAR100-C con el modelo WideResNet-40-2, nuestro método redujo el error promedio en un 5.3%, mostrando mejoras significativas en la generalización del modelo en escenarios de pruebas cíclicas continuas.
Descripción
La adaptación en tiempo de prueba (TTA) tiene como objetivo optimizar los parámetros del modelo preentrenado de origen a los dominios de destino utilizando solo datos de prueba no etiquetados. Sin embargo, los métodos tradicionales de TTA a menudo corren el riesgo de sobreajustarse a los dominios de prueba específicos y localizados, lo que lleva a una generalización comprometida. Además, estos métodos generalmente presuponen dominios de destino estáticos, descuidando la naturaleza dinámica y cíclica de los entornos del mundo real. Para aliviar esta limitación, este documento explora el ajuste cíclico continuo en tiempo de prueba (CycleTTA). Nuestro enfoque único dentro de este entorno emplea ruido de perturbación a nivel de matriz en las estadísticas de normalización por lotes para mejorar la adaptabilidad de los modelos preentrenados de origen a los dominios de destino que cambian dinámicamente, sin necesidad de parámetros adicionales. Demostramos la efectividad de nuestro método a través de experimentos extensos, donde nuestro enfoque redujo el error promedio en un 39.8% en el conjunto de datos CIFAR10-C utilizando el modelo WideResNet-28-10, en un 38.8% utilizando el modelo WideResNet-40-2, y en un 33.8% utilizando el modelo PreActResNet-18. Además, en el conjunto de datos CIFAR100-C con el modelo WideResNet-40-2, nuestro método redujo el error promedio en un 5.3%, mostrando mejoras significativas en la generalización del modelo en escenarios de pruebas cíclicas continuas.