LossTransform: Reformulando la Función de Pérdida para el Aprendizaje Contrastivo
Autores: Li, Zheng; Cheng, Jerry; Gu, Huanying Helen
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
LossTransform: Reformulando la Función de Pérdida para el Aprendizaje Contrastivo
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Aprendizaje contrastivo
Rendimiento del modelo
LossTransform
Pares de muestras positivas
Relaciones espaciales
Características de alta resolución
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
El aprendizaje contrastivo mejora el rendimiento del modelo al diferenciar entre pares de muestras positivas y negativas. Sin embargo, su aplicación está principalmente confinada a tareas de clasificación, enfrentando desafíos con tareas de reconocimiento complejas como la detección de objetos y la segmentación debido a su capacidad limitada para capturar relaciones espaciales y características detalladas. Para abordar esta limitación, proponemos LossTransform, un enfoque novedoso que redefine los pares de muestras positivas y establece un nuevo paradigma de pérdida contrastiva. LossTransform avanza el aprendizaje contrastivo al nivel de instancia, alejándose del nivel de muestra tradicional. Las evaluaciones empíricas en ImageNet, CIFAR y puntos de referencia de detección de objetos indican que LossTransform mejora la precisión en un +2.73% en CIFAR, +2.52% en ImageNet y hasta un +5.2% en precisión promedio en tareas de detección, manteniendo la eficiencia. Estos resultados ilustran que LossTransform es compatible con pipelines de entrenamiento a gran escala y exhibe un rendimiento robusto en conjuntos de datos diversos y complejos. Al optimizar el rendimiento del modelo y reducir significativamente el tiempo de entrenamiento, esta investigación permite soluciones más eficientes y accesibles para aplicaciones sociales.
Descripción
El aprendizaje contrastivo mejora el rendimiento del modelo al diferenciar entre pares de muestras positivas y negativas. Sin embargo, su aplicación está principalmente confinada a tareas de clasificación, enfrentando desafíos con tareas de reconocimiento complejas como la detección de objetos y la segmentación debido a su capacidad limitada para capturar relaciones espaciales y características detalladas. Para abordar esta limitación, proponemos LossTransform, un enfoque novedoso que redefine los pares de muestras positivas y establece un nuevo paradigma de pérdida contrastiva. LossTransform avanza el aprendizaje contrastivo al nivel de instancia, alejándose del nivel de muestra tradicional. Las evaluaciones empíricas en ImageNet, CIFAR y puntos de referencia de detección de objetos indican que LossTransform mejora la precisión en un +2.73% en CIFAR, +2.52% en ImageNet y hasta un +5.2% en precisión promedio en tareas de detección, manteniendo la eficiencia. Estos resultados ilustran que LossTransform es compatible con pipelines de entrenamiento a gran escala y exhibe un rendimiento robusto en conjuntos de datos diversos y complejos. Al optimizar el rendimiento del modelo y reducir significativamente el tiempo de entrenamiento, esta investigación permite soluciones más eficientes y accesibles para aplicaciones sociales.