logo móvil
Contáctanos

Un eficiente y único modelo algorítmico TF/IDF para el análisis de datos basado en aplicaciones de manejo de transmisión de grandes datos

Autores: Iwendi, Celestine; Ponnan, Suresh; Munirathinam, Revathi; Srinivasan, Kathiravan; Chang, Chuan-Yu

Idioma: Inglés

Editor: MDPI

Año: 2019

Descargar PDF

Acceso abierto

Artículo científico
2019

Un eficiente y único modelo algorítmico TF/IDF para el análisis de datos basado en aplicaciones de manejo de transmisión de grandes datos


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Campo
Ciencia de datos
Análisis de documentos
Resumen de textos
Algoritmo TF/IDF
Grandes datos

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 39

Citaciones: Sin citaciones


Descripción
A medida que el campo de la ciencia de datos crece, el análisis de documentos se ha convertido en una tarea más desafiante para la clasificación aproximada, el análisis de respuestas y la sumarización de texto. Estas tareas se utilizan para el análisis de datos de texto de varios sistemas de detección inteligente. El enfoque convencional para el análisis de datos y el procesamiento de texto no es útil para los grandes datos que provienen de sistemas inteligentes. Este trabajo propone un nuevo algoritmo TF/IDF con el enfoque temporal de Louvain para resolver el problema anterior. Se supone que dicho enfoque ayuda en la categorización de documentos en estructuras jerárquicas que muestran la relación entre variables, lo cual es una ventaja para los analistas que toman decisiones esenciales. Este trabajo utilizó corpora públicos, como Reuters-21578 y 20 Newsgroups para experimentación analítica de datos masivos. El resultado muestra la eficacia del algoritmo propuesto en términos de precisión y tiempo de ejecución en seis conjuntos de datos. El enfoque propuesto se valida para aportar valor al análisis de grandes datos de texto. El manejo de grandes datos con map-reduce ha llevado a un crecimiento tremendo y soporte para tareas como la categorización, análisis de sentimientos y mayor precisión de calidad a partir de los datos de entrada. Superar al enfoque de vanguardia en términos de precisión y tiempo de ejecución para seis conjuntos de datos asegura una validación adecuada.

Otros recursos que podrían interesarte

Temas Virtualpro