Un eficiente y único modelo algorítmico TF/IDF para el análisis de datos basado en aplicaciones de manejo de transmisión de grandes datos
Autores: Iwendi, Celestine; Ponnan, Suresh; Munirathinam, Revathi; Srinivasan, Kathiravan; Chang, Chuan-Yu
Idioma: Inglés
Editor: MDPI
Año: 2019
Acceso abierto
Artículo científico
2019
Un eficiente y único modelo algorítmico TF/IDF para el análisis de datos basado en aplicaciones de manejo de transmisión de grandes datos
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Campo
Ciencia de datos
Análisis de documentos
Resumen de textos
Algoritmo TF/IDF
Grandes datos
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 39
Citaciones: Sin citaciones
A medida que el campo de la ciencia de datos crece, el análisis de documentos se ha convertido en una tarea más desafiante para la clasificación aproximada, el análisis de respuestas y la sumarización de texto. Estas tareas se utilizan para el análisis de datos de texto de varios sistemas de detección inteligente. El enfoque convencional para el análisis de datos y el procesamiento de texto no es útil para los grandes datos que provienen de sistemas inteligentes. Este trabajo propone un nuevo algoritmo TF/IDF con el enfoque temporal de Louvain para resolver el problema anterior. Se supone que dicho enfoque ayuda en la categorización de documentos en estructuras jerárquicas que muestran la relación entre variables, lo cual es una ventaja para los analistas que toman decisiones esenciales. Este trabajo utilizó corpora públicos, como Reuters-21578 y 20 Newsgroups para experimentación analítica de datos masivos. El resultado muestra la eficacia del algoritmo propuesto en términos de precisión y tiempo de ejecución en seis conjuntos de datos. El enfoque propuesto se valida para aportar valor al análisis de grandes datos de texto. El manejo de grandes datos con map-reduce ha llevado a un crecimiento tremendo y soporte para tareas como la categorización, análisis de sentimientos y mayor precisión de calidad a partir de los datos de entrada. Superar al enfoque de vanguardia en términos de precisión y tiempo de ejecución para seis conjuntos de datos asegura una validación adecuada.
Descripción
A medida que el campo de la ciencia de datos crece, el análisis de documentos se ha convertido en una tarea más desafiante para la clasificación aproximada, el análisis de respuestas y la sumarización de texto. Estas tareas se utilizan para el análisis de datos de texto de varios sistemas de detección inteligente. El enfoque convencional para el análisis de datos y el procesamiento de texto no es útil para los grandes datos que provienen de sistemas inteligentes. Este trabajo propone un nuevo algoritmo TF/IDF con el enfoque temporal de Louvain para resolver el problema anterior. Se supone que dicho enfoque ayuda en la categorización de documentos en estructuras jerárquicas que muestran la relación entre variables, lo cual es una ventaja para los analistas que toman decisiones esenciales. Este trabajo utilizó corpora públicos, como Reuters-21578 y 20 Newsgroups para experimentación analítica de datos masivos. El resultado muestra la eficacia del algoritmo propuesto en términos de precisión y tiempo de ejecución en seis conjuntos de datos. El enfoque propuesto se valida para aportar valor al análisis de grandes datos de texto. El manejo de grandes datos con map-reduce ha llevado a un crecimiento tremendo y soporte para tareas como la categorización, análisis de sentimientos y mayor precisión de calidad a partir de los datos de entrada. Superar al enfoque de vanguardia en términos de precisión y tiempo de ejecución para seis conjuntos de datos asegura una validación adecuada.