Procesamiento de Lenguaje Natural Sostenible en Tiempo Real con Procesamiento Paralelo Sin Servidor en AWS
Autores: Mankala, Chaitanya Kumar; Silva, Ricardo J.
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
Procesamiento de Lenguaje Natural Sostenible en Tiempo Real con Procesamiento Paralelo Sin Servidor en AWS
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Propone
Arquitectura escalable
Sin servidor
Procesamiento de lenguaje natural
Modelos basados en Transformer
AWS Lambda
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Este documento propone una arquitectura sin servidor escalable para el procesamiento de lenguaje natural (NLP) en tiempo real sobre grandes conjuntos de datos utilizando Amazon Web Services (AWS). El marco integra AWS Lambda, Step Functions y S3 para permitir un análisis de sentimientos completamente paralelo con modelos basados en Transformadores como DistilBERT, RoBERTa y ClinicalBERT. Al contenerizar las cargas de trabajo de inferencia y orquestar la ejecución paralela, el sistema elimina la necesidad de servidores dedicados mientras se escala dinámicamente según la demanda de carga de trabajo. La evaluación experimental en el conjunto de datos de Reseñas de IMDb demuestra ganancias de eficiencia sustanciales: la ejecución paralela logró una reducción de 6.07x en la duración del reloj, una reducción del 81.2% en el tiempo total de computación y consumo de energía, y una reducción del 79.1% en costos variables en comparación con el procesamiento secuencial. Estas mejoras se traducen directamente en una huella de carbono más pequeña, destacando los beneficios de sostenibilidad de las arquitecturas sin servidor para cargas de trabajo de IA. Los hallazgos muestran que el marco propuesto es independiente del modelo y proporciona ventajas consistentes a través de diversas variantes de Transformadores. Este trabajo ilustra cómo las infraestructuras nativas de la nube y basadas en eventos pueden democratizar el acceso al NLP a gran escala al reducir costos, tiempo de procesamiento e impacto ambiental, al tiempo que ofrecen un camino reproducible para la investigación del mundo real y aplicaciones industriales.
Descripción
Este documento propone una arquitectura sin servidor escalable para el procesamiento de lenguaje natural (NLP) en tiempo real sobre grandes conjuntos de datos utilizando Amazon Web Services (AWS). El marco integra AWS Lambda, Step Functions y S3 para permitir un análisis de sentimientos completamente paralelo con modelos basados en Transformadores como DistilBERT, RoBERTa y ClinicalBERT. Al contenerizar las cargas de trabajo de inferencia y orquestar la ejecución paralela, el sistema elimina la necesidad de servidores dedicados mientras se escala dinámicamente según la demanda de carga de trabajo. La evaluación experimental en el conjunto de datos de Reseñas de IMDb demuestra ganancias de eficiencia sustanciales: la ejecución paralela logró una reducción de 6.07x en la duración del reloj, una reducción del 81.2% en el tiempo total de computación y consumo de energía, y una reducción del 79.1% en costos variables en comparación con el procesamiento secuencial. Estas mejoras se traducen directamente en una huella de carbono más pequeña, destacando los beneficios de sostenibilidad de las arquitecturas sin servidor para cargas de trabajo de IA. Los hallazgos muestran que el marco propuesto es independiente del modelo y proporciona ventajas consistentes a través de diversas variantes de Transformadores. Este trabajo ilustra cómo las infraestructuras nativas de la nube y basadas en eventos pueden democratizar el acceso al NLP a gran escala al reducir costos, tiempo de procesamiento e impacto ambiental, al tiempo que ofrecen un camino reproducible para la investigación del mundo real y aplicaciones industriales.