Detectar el uso de ChatGPT en periódicos universitarios mediante el análisis de diferencias estilísticas con aprendizaje automático
Autores: Kim, Min-Gyu; Desaire, Heather
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Detectar el uso de ChatGPT en periódicos universitarios mediante el análisis de diferencias estilísticas con aprendizaje automático
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Modelos de lenguaje
ChatGPT
IA generativa
Artículos de periódico
Modelo de detección
Universidad
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Los modelos de lenguaje grandes (LLMs) tienen la capacidad de generar texto al unir palabras de sus extensos datos de entrenamiento. La principal herramienta de generación de texto de IA basada en LLMs, ChatGPT, ha crecido rápidamente una vasta base de usuarios desde su lanzamiento, pero los dominios en los que se está aprovechando en gran medida aún no son conocidos por el público. Para entender cómo la IA generativa está remodelando los medios impresos y hasta qué punto ya se está implementando, se requieren métodos para distinguir el texto generado por humanos del generado por IA. Dado que los estudiantes universitarios han sido adoptantes tempranos de ChatGPT, buscamos estudiar la presencia de IA generativa en artículos de periódicos escritos por periodistas universitarios. Para lograr este objetivo, se necesita un modelo de detección de IA preciso. En este documento, analizamos artículos de periódicos universitarios de diferentes universidades para determinar si se utilizó ChatGPT para escribir o editar los artículos de noticias. Desarrollamos un modelo de detección utilizando aprendizaje automático clásico y utilizamos el modelo para detectar el uso de IA en los artículos de noticias. El modelo de detección mostró una precisión del 93% en los datos de entrenamiento y tuvo un rendimiento similar en el conjunto de prueba, demostrando efectividad en la detección de IA por encima de las herramientas de detección de última generación existentes. Finalmente, el modelo se aplicó a la tarea de buscar el uso de IA generativa en 2023, y encontramos que ChatGPT no se utilizó para revisar artículos en ninguna medida apreciable para escribir artículos de noticias universitarias en las escuelas que estudiamos.
Descripción
Los modelos de lenguaje grandes (LLMs) tienen la capacidad de generar texto al unir palabras de sus extensos datos de entrenamiento. La principal herramienta de generación de texto de IA basada en LLMs, ChatGPT, ha crecido rápidamente una vasta base de usuarios desde su lanzamiento, pero los dominios en los que se está aprovechando en gran medida aún no son conocidos por el público. Para entender cómo la IA generativa está remodelando los medios impresos y hasta qué punto ya se está implementando, se requieren métodos para distinguir el texto generado por humanos del generado por IA. Dado que los estudiantes universitarios han sido adoptantes tempranos de ChatGPT, buscamos estudiar la presencia de IA generativa en artículos de periódicos escritos por periodistas universitarios. Para lograr este objetivo, se necesita un modelo de detección de IA preciso. En este documento, analizamos artículos de periódicos universitarios de diferentes universidades para determinar si se utilizó ChatGPT para escribir o editar los artículos de noticias. Desarrollamos un modelo de detección utilizando aprendizaje automático clásico y utilizamos el modelo para detectar el uso de IA en los artículos de noticias. El modelo de detección mostró una precisión del 93% en los datos de entrenamiento y tuvo un rendimiento similar en el conjunto de prueba, demostrando efectividad en la detección de IA por encima de las herramientas de detección de última generación existentes. Finalmente, el modelo se aplicó a la tarea de buscar el uso de IA generativa en 2023, y encontramos que ChatGPT no se utilizó para revisar artículos en ninguna medida apreciable para escribir artículos de noticias universitarias en las escuelas que estudiamos.