Aprovechando el poder de ChatGPT para automatizar el proceso de revisión sistemática: metodología, estudio de caso, limitaciones y direcciones futuras
Autores: Alshami, Ahmad; Elsayed, Moustafa; Ali, Eslam; Eltoukhy, Abdelrahman E. E.; Zayed, Tarek
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Aprovechando el poder de ChatGPT para automatizar el proceso de revisión sistemática: metodología, estudio de caso, limitaciones y direcciones futuras
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Sistemas
Palabras clave
Revisiones sistemáticas
Automatización
Procesamiento de lenguaje natural
Búsqueda de literatura
Extracción de datos
Análisis de contenido
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 29
Citaciones: Sin citaciones
Las revisiones sistemáticas (RS) son cruciales para sintetizar y analizar la literatura científica existente con el fin de informar la toma de decisiones basada en evidencia. Sin embargo, los métodos tradicionales de RS a menudo tienen limitaciones, incluyendo la falta de automatización y apoyo a la decisión, lo que resulta en revisiones que consumen mucho tiempo y son propensas a errores. Para abordar estas limitaciones y avanzar en el campo, aprovechamos el poder del revolucionario modelo de lenguaje, ChatGPT, que ha demostrado capacidades notables en diversas tareas de escritura científica. Al utilizar las habilidades de procesamiento de lenguaje natural de ChatGPT, nuestro objetivo es automatizar y agilizar los pasos involucrados en la RS tradicional, enfocándonos explícitamente en la búsqueda de literatura, el cribado, la extracción de datos y el análisis de contenido. Por lo tanto, nuestra metodología comprende cuatro módulos: (1) Preparación de términos de búsqueda booleanos y recopilación de artículos, (2) Cribado de resúmenes y categorización de artículos, (3) Filtrado de texto completo y extracción de información, y (4) Análisis de contenido para identificar tendencias, desafíos, brechas y soluciones propuestas. A lo largo de cada paso, nuestro enfoque ha sido proporcionar análisis cuantitativos para fortalecer la solidez del proceso de revisión. Para ilustrar la aplicación práctica de nuestro método, hemos elegido el tema de las aplicaciones de IoT en la gestión de agua y aguas residuales y el monitoreo de calidad debido a su importancia crítica y la escasez de revisiones exhaustivas en este campo. Los hallazgos demuestran el potencial de ChatGPT para cerrar la brecha entre los métodos tradicionales de RS y los modelos de lenguaje de IA, resultando en una mayor eficiencia y fiabilidad de los procesos de RS. Notablemente, ChatGPT exhibe un rendimiento excepcional en el filtrado y la categorización de artículos relevantes, lo que lleva a ahorros significativos de tiempo y esfuerzo. Nuestra evaluación cuantitativa revela lo siguiente: (1) la precisión general de ChatGPT para el descarte y clasificación de artículos es del 88%, y (2) las puntuaciones F-1 de ChatGPT para el descarte y clasificación de artículos son del 91% y 88%, respectivamente, en comparación con las evaluaciones de expertos. Sin embargo, identificamos limitaciones en su idoneidad para la extracción de artículos. En general, esta investigación contribuye con valiosos conocimientos al campo de la RS, empoderando a los investigadores para realizar revisiones más completas y fiables mientras avanzan en el conocimiento y la toma de decisiones en diversos dominios.
Descripción
Las revisiones sistemáticas (RS) son cruciales para sintetizar y analizar la literatura científica existente con el fin de informar la toma de decisiones basada en evidencia. Sin embargo, los métodos tradicionales de RS a menudo tienen limitaciones, incluyendo la falta de automatización y apoyo a la decisión, lo que resulta en revisiones que consumen mucho tiempo y son propensas a errores. Para abordar estas limitaciones y avanzar en el campo, aprovechamos el poder del revolucionario modelo de lenguaje, ChatGPT, que ha demostrado capacidades notables en diversas tareas de escritura científica. Al utilizar las habilidades de procesamiento de lenguaje natural de ChatGPT, nuestro objetivo es automatizar y agilizar los pasos involucrados en la RS tradicional, enfocándonos explícitamente en la búsqueda de literatura, el cribado, la extracción de datos y el análisis de contenido. Por lo tanto, nuestra metodología comprende cuatro módulos: (1) Preparación de términos de búsqueda booleanos y recopilación de artículos, (2) Cribado de resúmenes y categorización de artículos, (3) Filtrado de texto completo y extracción de información, y (4) Análisis de contenido para identificar tendencias, desafíos, brechas y soluciones propuestas. A lo largo de cada paso, nuestro enfoque ha sido proporcionar análisis cuantitativos para fortalecer la solidez del proceso de revisión. Para ilustrar la aplicación práctica de nuestro método, hemos elegido el tema de las aplicaciones de IoT en la gestión de agua y aguas residuales y el monitoreo de calidad debido a su importancia crítica y la escasez de revisiones exhaustivas en este campo. Los hallazgos demuestran el potencial de ChatGPT para cerrar la brecha entre los métodos tradicionales de RS y los modelos de lenguaje de IA, resultando en una mayor eficiencia y fiabilidad de los procesos de RS. Notablemente, ChatGPT exhibe un rendimiento excepcional en el filtrado y la categorización de artículos relevantes, lo que lleva a ahorros significativos de tiempo y esfuerzo. Nuestra evaluación cuantitativa revela lo siguiente: (1) la precisión general de ChatGPT para el descarte y clasificación de artículos es del 88%, y (2) las puntuaciones F-1 de ChatGPT para el descarte y clasificación de artículos son del 91% y 88%, respectivamente, en comparación con las evaluaciones de expertos. Sin embargo, identificamos limitaciones en su idoneidad para la extracción de artículos. En general, esta investigación contribuye con valiosos conocimientos al campo de la RS, empoderando a los investigadores para realizar revisiones más completas y fiables mientras avanzan en el conocimiento y la toma de decisiones en diversos dominios.