Aprovechando la IA Explicable para la Atribución de Texto de LLM: Diferenciando Texto Escrito por Humanos y Texto Generado por Múltiples LLM
Autores: Najjar, Ayat A.; Ashqar, Huthaifa I.; Darwish, Omar; Hammad, Eman
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
Aprovechando la IA Explicable para la Atribución de Texto de LLM: Diferenciando Texto Escrito por Humanos y Texto Generado por Múltiples LLM
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Desarrollo
IA generativa
Plagio
Aprendizaje automático
Aprendizaje profundo
Atribución
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
El desarrollo de modelos de lenguaje de inteligencia artificial generativa (LLMs) ha levantado la alarma respecto a la identificación de contenido producido por IA generativa frente a humanos. En un caso, surgen problemas cuando los estudiantes dependen en gran medida de tales herramientas de una manera que puede afectar el desarrollo de sus habilidades de escritura o programación. También se aplican otros problemas de plagio. Este estudio tiene como objetivo apoyar los esfuerzos para detectar e identificar contenido textual generado utilizando herramientas LLM. Hipotetizamos que el texto generado por LLM es detectable por aprendizaje automático (ML) e investigamos modelos de ML que pueden reconocer y diferenciar entre textos generados por humanos y múltiples herramientas LLM. Utilizamos un conjunto de datos de texto escrito por estudiantes en comparación con texto escrito por LLM. Aprovechamos varios algoritmos de ML y aprendizaje profundo (DL), como Random Forest (RF) y redes neuronales recurrentes (RNN), y utilizamos inteligencia artificial explicable (XAI) para entender las características importantes en la atribución. Nuestro método se divide en (1) clasificación binaria para diferenciar entre texto escrito por humanos y texto generado por IA y (2) clasificación multiclase para diferenciar entre texto escrito por humanos y texto generado por cinco herramientas LLM diferentes (ChatGPT, LLaMA, Google Bard, Claude y Perplexity). Los resultados muestran una alta precisión en la clasificación multiclase y binaria. Nuestro modelo superó a GPTZero (78.3%), con una precisión del 98.5%. Notablemente, GPTZero no pudo reconocer alrededor del 4.2% de las observaciones, pero nuestro modelo pudo reconocer el conjunto de datos de prueba completo. Los resultados de XAI mostraron que entender la importancia de las características a través de diferentes clases permite perfiles detallados de autor/origen, ayudando en la atribución y apoyando la detección de plagio al resaltar elementos estilísticos y estructurales únicos, asegurando así una verificación robusta de la originalidad del contenido.
Descripción
El desarrollo de modelos de lenguaje de inteligencia artificial generativa (LLMs) ha levantado la alarma respecto a la identificación de contenido producido por IA generativa frente a humanos. En un caso, surgen problemas cuando los estudiantes dependen en gran medida de tales herramientas de una manera que puede afectar el desarrollo de sus habilidades de escritura o programación. También se aplican otros problemas de plagio. Este estudio tiene como objetivo apoyar los esfuerzos para detectar e identificar contenido textual generado utilizando herramientas LLM. Hipotetizamos que el texto generado por LLM es detectable por aprendizaje automático (ML) e investigamos modelos de ML que pueden reconocer y diferenciar entre textos generados por humanos y múltiples herramientas LLM. Utilizamos un conjunto de datos de texto escrito por estudiantes en comparación con texto escrito por LLM. Aprovechamos varios algoritmos de ML y aprendizaje profundo (DL), como Random Forest (RF) y redes neuronales recurrentes (RNN), y utilizamos inteligencia artificial explicable (XAI) para entender las características importantes en la atribución. Nuestro método se divide en (1) clasificación binaria para diferenciar entre texto escrito por humanos y texto generado por IA y (2) clasificación multiclase para diferenciar entre texto escrito por humanos y texto generado por cinco herramientas LLM diferentes (ChatGPT, LLaMA, Google Bard, Claude y Perplexity). Los resultados muestran una alta precisión en la clasificación multiclase y binaria. Nuestro modelo superó a GPTZero (78.3%), con una precisión del 98.5%. Notablemente, GPTZero no pudo reconocer alrededor del 4.2% de las observaciones, pero nuestro modelo pudo reconocer el conjunto de datos de prueba completo. Los resultados de XAI mostraron que entender la importancia de las características a través de diferentes clases permite perfiles detallados de autor/origen, ayudando en la atribución y apoyando la detección de plagio al resaltar elementos estilísticos y estructurales únicos, asegurando así una verificación robusta de la originalidad del contenido.