Evaluación comparativa de marcos de trabajo de Aprendizaje Automático Automatizado (AutoML) para la detección de objetos
Autores: Oliveira, Samuel de; Topsakal, Oguzhan; Toker, Onur
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Evaluación comparativa de marcos de trabajo de Aprendizaje Automático Automatizado (AutoML) para la detección de objetos
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Aprendizaje automático automatizado
AutoML
Detección de objetos
Estudios de referencia
Conjuntos de datos
Marcos de AutoML
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
El Aprendizaje Automático Automatizado (AutoML) es un subdominio del aprendizaje automático que busca ampliar la usabilidad de los métodos tradicionales de aprendizaje automático para usuarios no expertos al automatizar diversas tareas que normalmente requieren configuración manual. Los estudios de referencia previos sobre sistemas de AutoML, cuyo objetivo es comparar y evaluar sus capacidades, se han centrado principalmente en datos tabulares o estructurados. En este estudio, evaluamos sistemas de AutoML en la tarea de detección de objetos al curar tres conjuntos de datos de detección de objetos comúnmente utilizados (Open Images V7, Microsoft COCO 2017 y Pascal VOC2012) con el fin de evaluar tres marcos de AutoML diferentes, a saber, Vertex AI de Google, TAO de NVIDIA y AutoGluon. Reducimos los conjuntos de datos para incluir solo imágenes con una única instancia de objeto con el fin de entender el efecto del desequilibrio de clases, así como el tamaño del conjunto de datos y del objeto. Utilizamos las métricas de precisión promedio (AP) y precisión promedio media (mAP). Solo en términos de precisión, nuestros resultados indican que AutoGluon es el marco de mejor rendimiento, con un mAP de 0.8901, 0.8972 y 0.8644 para los conjuntos de datos Pascal VOC2012, COCO 2017 y Open Images V7, respectivamente. NVIDIA TAO logró un mAP de 0.8254, 0.8165 y 0.7754 para esos mismos conjuntos de datos, mientras que VertexAI de Google obtuvo 0.855, 0.793 y 0.761. Encontramos que el tamaño del conjunto de datos tenía una relación inversa con el mAP en todos los marcos, y no hubo relación entre el tamaño de la clase o el desequilibrio y la precisión. Además, discutimos los beneficios y desventajas relativos de cada marco desde el punto de vista de la facilidad de uso. Este estudio también señala los problemas encontrados al examinar las etiquetas de un subconjunto de cada conjunto de datos. Los errores de etiquetado en los conjuntos de datos parecen tener un efecto negativo sustancial en la precisión que no se resuelve con conjuntos de datos más grandes. En general, este estudio proporciona una plataforma para el desarrollo y la investigación futura en este campo incipiente del aprendizaje automático.
Descripción
El Aprendizaje Automático Automatizado (AutoML) es un subdominio del aprendizaje automático que busca ampliar la usabilidad de los métodos tradicionales de aprendizaje automático para usuarios no expertos al automatizar diversas tareas que normalmente requieren configuración manual. Los estudios de referencia previos sobre sistemas de AutoML, cuyo objetivo es comparar y evaluar sus capacidades, se han centrado principalmente en datos tabulares o estructurados. En este estudio, evaluamos sistemas de AutoML en la tarea de detección de objetos al curar tres conjuntos de datos de detección de objetos comúnmente utilizados (Open Images V7, Microsoft COCO 2017 y Pascal VOC2012) con el fin de evaluar tres marcos de AutoML diferentes, a saber, Vertex AI de Google, TAO de NVIDIA y AutoGluon. Reducimos los conjuntos de datos para incluir solo imágenes con una única instancia de objeto con el fin de entender el efecto del desequilibrio de clases, así como el tamaño del conjunto de datos y del objeto. Utilizamos las métricas de precisión promedio (AP) y precisión promedio media (mAP). Solo en términos de precisión, nuestros resultados indican que AutoGluon es el marco de mejor rendimiento, con un mAP de 0.8901, 0.8972 y 0.8644 para los conjuntos de datos Pascal VOC2012, COCO 2017 y Open Images V7, respectivamente. NVIDIA TAO logró un mAP de 0.8254, 0.8165 y 0.7754 para esos mismos conjuntos de datos, mientras que VertexAI de Google obtuvo 0.855, 0.793 y 0.761. Encontramos que el tamaño del conjunto de datos tenía una relación inversa con el mAP en todos los marcos, y no hubo relación entre el tamaño de la clase o el desequilibrio y la precisión. Además, discutimos los beneficios y desventajas relativos de cada marco desde el punto de vista de la facilidad de uso. Este estudio también señala los problemas encontrados al examinar las etiquetas de un subconjunto de cada conjunto de datos. Los errores de etiquetado en los conjuntos de datos parecen tener un efecto negativo sustancial en la precisión que no se resuelve con conjuntos de datos más grandes. En general, este estudio proporciona una plataforma para el desarrollo y la investigación futura en este campo incipiente del aprendizaje automático.