Modelo de detección de registro del sistema basado en predicción conforme
Autores: Ren, Yitong; Gu, Zhaojun; Wang, Zhi; Tian, Zhihong; Liu, Chunbo; Lu, Hui; Du, Xiaojiang; Guizani, Mohsen
Idioma: Inglés
Editor: MDPI
Año: 2020
Acceso abierto
Artículo científico
2020
Modelo de detección de registro del sistema basado en predicción conforme
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Internet de las cosas
Aprendizaje automático
Hadoop
Sistema de archivos distribuido
Detección de anomalías
Aprendizaje estadístico.
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 39
Citaciones: Sin citaciones
Con el rápido desarrollo del Internet de las Cosas, la combinación del Internet de las Cosas con el aprendizaje automático, Hadoop y otros campos son tendencias de desarrollo actuales. El Sistema de Archivos Distribuido de Hadoop (HDFS) es uno de los componentes principales de Hadoop, que se utiliza para procesar archivos que se dividen en bloques de datos distribuidos en el clúster. Una vez que los datos de registro distribuidos son anómalos, causarán pérdidas graves. Al utilizar algoritmos de aprendizaje automático para la detección de anomalías en los registros del sistema, la salida de los modelos de clasificación basados en umbrales son solo predicciones simples de normal o anormal. Este documento utilizó el método de aprendizaje estadístico de medida de conformidad para calcular la similitud entre los datos de prueba y la experiencia pasada. En comparación con los métodos de detección basados en umbrales estáticos, el método de aprendizaje estadístico de medida de conformidad puede adaptarse dinámicamente a los datos de registro cambiantes. Al ajustar la tolerancia máxima a fallos, un administrador del sistema puede gestionar y supervisar mejor los registros del sistema. Además, se mejoró la eficiencia computacional del método de aprendizaje estadístico para la medición de conformidad. Este documento implementó un modelo de detección de anomalías en la intranet basado en el análisis de registros y realizó una detección de prueba en conjuntos de datos de HDFS de manera rápida y eficiente.
Descripción
Con el rápido desarrollo del Internet de las Cosas, la combinación del Internet de las Cosas con el aprendizaje automático, Hadoop y otros campos son tendencias de desarrollo actuales. El Sistema de Archivos Distribuido de Hadoop (HDFS) es uno de los componentes principales de Hadoop, que se utiliza para procesar archivos que se dividen en bloques de datos distribuidos en el clúster. Una vez que los datos de registro distribuidos son anómalos, causarán pérdidas graves. Al utilizar algoritmos de aprendizaje automático para la detección de anomalías en los registros del sistema, la salida de los modelos de clasificación basados en umbrales son solo predicciones simples de normal o anormal. Este documento utilizó el método de aprendizaje estadístico de medida de conformidad para calcular la similitud entre los datos de prueba y la experiencia pasada. En comparación con los métodos de detección basados en umbrales estáticos, el método de aprendizaje estadístico de medida de conformidad puede adaptarse dinámicamente a los datos de registro cambiantes. Al ajustar la tolerancia máxima a fallos, un administrador del sistema puede gestionar y supervisar mejor los registros del sistema. Además, se mejoró la eficiencia computacional del método de aprendizaje estadístico para la medición de conformidad. Este documento implementó un modelo de detección de anomalías en la intranet basado en el análisis de registros y realizó una detección de prueba en conjuntos de datos de HDFS de manera rápida y eficiente.