Mejorando la detección temprana de fallas en sistemas de aprendizaje automático mediante la priorización de relaciones metamórficas impulsadas por la diversidad de datos
Autores: Srinivasan, Madhusudan; Kanewala, Upulee
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Mejorando la detección temprana de fallas en sistemas de aprendizaje automático mediante la priorización de relaciones metamórficas impulsadas por la diversidad de datos
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Pruebas metamórficas
Aprendizaje automático
Aprendizaje profundo
Detección de fallos
Métodos de priorización
Métricas
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 33
Citaciones: Sin citaciones
Las pruebas metamórficas son un enfoque valioso para verificar programas de aprendizaje automático donde los oráculos tradicionales no están disponibles o son difíciles de aplicar. Este documento propone una técnica para priorizar relaciones metamórficas (MRs) en pruebas metamórficas para sistemas de aprendizaje automático y aprendizaje profundo, con el objetivo de mejorar la detección temprana de fallos. Introducimos cinco métricas basadas en la diversidad en casos de prueba de origen y de seguimiento para priorizar MRs. La efectividad de nuestros métodos de priorización propuestos se evalúa en tres implementaciones de algoritmos de aprendizaje automático y uno de aprendizaje profundo. Comparamos nuestro enfoque con la ordenación de MR basada en azar, en fallos y en cobertura de activación de neuronas. Los resultados muestran que nuestra priorización basada en la diversidad de datos se desempeña de manera comparable a la priorización basada en fallos, reduciendo el tiempo de detección de fallos hasta un 62% en comparación con la ejecución aleatoria de MR. Nuestras métricas propuestas superaron la priorización basada en cobertura de activación de neuronas, proporcionando una efectividad de detección de fallos un 5-550% mayor. En general, nuestro enfoque para priorizar relaciones metamórficas conduce a una mayor efectividad en la detección de fallos y a una reducción en el tiempo promedio de detección de fallos. Esta mejora en la eficiencia puede resultar en ahorros significativos de tiempo y costos al aplicar pruebas metamórficas a sistemas de aprendizaje automático y aprendizaje profundo.
Descripción
Las pruebas metamórficas son un enfoque valioso para verificar programas de aprendizaje automático donde los oráculos tradicionales no están disponibles o son difíciles de aplicar. Este documento propone una técnica para priorizar relaciones metamórficas (MRs) en pruebas metamórficas para sistemas de aprendizaje automático y aprendizaje profundo, con el objetivo de mejorar la detección temprana de fallos. Introducimos cinco métricas basadas en la diversidad en casos de prueba de origen y de seguimiento para priorizar MRs. La efectividad de nuestros métodos de priorización propuestos se evalúa en tres implementaciones de algoritmos de aprendizaje automático y uno de aprendizaje profundo. Comparamos nuestro enfoque con la ordenación de MR basada en azar, en fallos y en cobertura de activación de neuronas. Los resultados muestran que nuestra priorización basada en la diversidad de datos se desempeña de manera comparable a la priorización basada en fallos, reduciendo el tiempo de detección de fallos hasta un 62% en comparación con la ejecución aleatoria de MR. Nuestras métricas propuestas superaron la priorización basada en cobertura de activación de neuronas, proporcionando una efectividad de detección de fallos un 5-550% mayor. En general, nuestro enfoque para priorizar relaciones metamórficas conduce a una mayor efectividad en la detección de fallos y a una reducción en el tiempo promedio de detección de fallos. Esta mejora en la eficiencia puede resultar en ahorros significativos de tiempo y costos al aplicar pruebas metamórficas a sistemas de aprendizaje automático y aprendizaje profundo.