Sistema de Detección de Intrusiones Basado en Apache Spark y MLlib o Cómo las Tecnologías de Big Data Pueden Asegurar los Datos
Autores: Azeroual, Otmane; Nikiforova, Anastasija
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Sistema de Detección de Intrusiones Basado en Apache Spark y MLlib o Cómo las Tecnologías de Big Data Pueden Asegurar los Datos
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Datos
Big data
Procesamiento
Seguridad
Anomalías
Detección
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Desde el cambio de milenio, el volumen de datos ha aumentado significativamente tanto en las industrias como en las instituciones científicas. El procesamiento de estos volúmenes y la variedad de datos con los que estamos tratando probablemente no se logre con soluciones de software convencionales. Así, se integran nuevas tecnologías pertenecientes al área de procesamiento de big data, capaces de distribuir y procesar datos de manera escalable, en sistemas clásicos de Business Intelligence (BI) o los reemplazan. Además, podemos beneficiarnos de las tecnologías de big data para obtener conocimiento sobre seguridad, que se puede obtener de bases de datos masivas. El documento presenta un análisis de datos relevante para la seguridad basado en el motor de análisis de big data Apache Spark. Se desarrolla un prototipo de sistema de detección de intrusiones destinado a detectar anomalías en los datos a través del aprendizaje automático utilizando el algoritmo k-means para el análisis de agrupamiento implementado en Sparks MLlib. La extracción de características para detectar anomalías es actualmente un desafío porque el problema de detectar anomalías no se monitorea de manera activa y exhaustiva. La detección de datos anormales puede llevarse a cabo utilizando datos relevantes que ya están en posesión de las empresas y organizaciones científicas. Su interpretación y procesamiento continuo pueden contribuir suficientemente a la detección de anomalías e intrusiones.
Descripción
Desde el cambio de milenio, el volumen de datos ha aumentado significativamente tanto en las industrias como en las instituciones científicas. El procesamiento de estos volúmenes y la variedad de datos con los que estamos tratando probablemente no se logre con soluciones de software convencionales. Así, se integran nuevas tecnologías pertenecientes al área de procesamiento de big data, capaces de distribuir y procesar datos de manera escalable, en sistemas clásicos de Business Intelligence (BI) o los reemplazan. Además, podemos beneficiarnos de las tecnologías de big data para obtener conocimiento sobre seguridad, que se puede obtener de bases de datos masivas. El documento presenta un análisis de datos relevante para la seguridad basado en el motor de análisis de big data Apache Spark. Se desarrolla un prototipo de sistema de detección de intrusiones destinado a detectar anomalías en los datos a través del aprendizaje automático utilizando el algoritmo k-means para el análisis de agrupamiento implementado en Sparks MLlib. La extracción de características para detectar anomalías es actualmente un desafío porque el problema de detectar anomalías no se monitorea de manera activa y exhaustiva. La detección de datos anormales puede llevarse a cabo utilizando datos relevantes que ya están en posesión de las empresas y organizaciones científicas. Su interpretación y procesamiento continuo pueden contribuir suficientemente a la detección de anomalías e intrusiones.