logo móvil
Contáctanos

Diseñando un prototipo de plataforma para la extracción de eventos en tiempo real: un enfoque escalable de procesamiento de lenguaje natural y minería de datos

Autores: Avornicului, Mihai-Constantin; Bresfelean, Vasile Paul; Popa, Silviu-Claudiu; Forman, Norbert; Comes, Calin-Adrian

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

Diseñando un prototipo de plataforma para la extracción de eventos en tiempo real: un enfoque escalable de procesamiento de lenguaje natural y minería de datos


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Modular
Alto rendimiento
Extracción de eventos en tiempo real
Procesamiento de lenguaje natural
Estrategias de minería de datos
Escalable

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 34

Citaciones: Sin citaciones


Descripción
En este trabajo, presentamos una plataforma prototipo modular y de alto rendimiento para la extracción de eventos en tiempo real, diseñada para abordar los desafíos clave en el procesamiento de grandes volúmenes de datos no estructurados en aplicaciones como la gestión de crisis, monitoreo de redes sociales y agregación de noticias. El prototipo integra técnicas avanzadas de procesamiento de lenguaje natural (NLP) (Frecuencia de Término-Inversa de Frecuencia de Documento (TF-IDF), Indexación Semántica Latente (LSI), Reconocimiento de Entidades Nombradas (NER)) con estrategias de minería de datos para mejorar la precisión en la puntuación de relevancia, agrupación y extracción de entidades. La plataforma está diseñada para manejar restricciones en tiempo real de manera eficiente, mediante la combinación de TF-IDF, LSI y NER en un pipeline híbrido. A diferencia de las arquitecturas basadas en transformadores que a menudo tienen problemas de latencia, nuestro prototipo es escalable y lo suficientemente flexible como para admitir diversos dominios como la gestión de desastres y el monitoreo de redes sociales. Las evaluaciones cuantitativas y cualitativas iniciales demuestran la eficiencia, precisión, escalabilidad de la plataforma, y están validadas por métricas como la puntuación F1, el tiempo de respuesta y la satisfacción del usuario. Su diseño tiene un equilibrio entre una computación rápida y un análisis semántico preciso, lo que puede hacerlo efectivo para aplicaciones que requieran un procesamiento rápido. Este prototipo ofrece una base sólida para el procesamiento de datos de alta frecuencia, adaptable y escalable para escenarios en tiempo real. En nuestro trabajo futuro, exploraremos más a fondo la comprensión contextual, la escalabilidad a través de microservicios y la fusión de datos entre plataformas para una cobertura de eventos ampliada.

Otros recursos que podrían interesarte

Temas Virtualpro