LLMs en acción: Métricas robustas para evaluar sistemas de anotación de ontologías automatizadas
Autores: Noori, Ali; Devkota, Pratik; Mohanty, Somya D.; Manda, Prashanti
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
LLMs en acción: Métricas robustas para evaluar sistemas de anotación de ontologías automatizadas
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Ontologías
Métricas de similitud semántica
Procesamiento de lenguaje natural
Incrustaciones
Relaciones jerárquicas
Sistemas basados en PLN
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Las ontologías son críticas para organizar e interpretar conocimientos complejos específicos de un dominio, con aplicaciones en la integración de datos, la predicción funcional y el descubrimiento de conocimiento. A medida que la curación manual de las anotaciones de ontología se vuelve cada vez más inviable debido al crecimiento exponencial de los datos biomédicos y genómicos, han surgido sistemas basados en procesamiento de lenguaje natural (NLP) como alternativas escalables. Evaluar estos sistemas requiere métricas de similitud semántica robustas que tengan en cuenta las relaciones jerárquicas y parcialmente correctas que a menudo están presentes en las anotaciones de ontología. Este estudio explora la integración de incrustaciones basadas en grafos y en lenguaje para mejorar el rendimiento de las métricas de similitud semántica. Combinando incrustaciones generadas a través de Node2Vec y grandes modelos de lenguaje (LLMs) con métricas de similitud semántica tradicionales, demostramos que los enfoques híbridos capturan efectivamente tanto las relaciones estructurales como semánticas dentro de las ontologías. Nuestros resultados muestran que las métricas de similitud combinadas superan a las métricas individuales, logrando una alta precisión en la distinción de pares padre-hijo de pares aleatorios. Este trabajo subraya la importancia de métricas de similitud semántica robustas para evaluar y optimizar sistemas de anotación de ontología basados en NLP. La investigación futura debería explorar la integración en tiempo real de estas métricas y arquitecturas neuronales avanzadas para mejorar aún más la escalabilidad y precisión, avanzando en análisis impulsados por ontologías en la investigación biomédica y más allá.
Descripción
Las ontologías son críticas para organizar e interpretar conocimientos complejos específicos de un dominio, con aplicaciones en la integración de datos, la predicción funcional y el descubrimiento de conocimiento. A medida que la curación manual de las anotaciones de ontología se vuelve cada vez más inviable debido al crecimiento exponencial de los datos biomédicos y genómicos, han surgido sistemas basados en procesamiento de lenguaje natural (NLP) como alternativas escalables. Evaluar estos sistemas requiere métricas de similitud semántica robustas que tengan en cuenta las relaciones jerárquicas y parcialmente correctas que a menudo están presentes en las anotaciones de ontología. Este estudio explora la integración de incrustaciones basadas en grafos y en lenguaje para mejorar el rendimiento de las métricas de similitud semántica. Combinando incrustaciones generadas a través de Node2Vec y grandes modelos de lenguaje (LLMs) con métricas de similitud semántica tradicionales, demostramos que los enfoques híbridos capturan efectivamente tanto las relaciones estructurales como semánticas dentro de las ontologías. Nuestros resultados muestran que las métricas de similitud combinadas superan a las métricas individuales, logrando una alta precisión en la distinción de pares padre-hijo de pares aleatorios. Este trabajo subraya la importancia de métricas de similitud semántica robustas para evaluar y optimizar sistemas de anotación de ontología basados en NLP. La investigación futura debería explorar la integración en tiempo real de estas métricas y arquitecturas neuronales avanzadas para mejorar aún más la escalabilidad y precisión, avanzando en análisis impulsados por ontologías en la investigación biomédica y más allá.