Hacia la descubrimiento de tablas unibles con LSH dinámico y basado en datos en tiempo real
Autores: Wang, Weiwei; Zhu, Chunxiang; Yan, Han
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Hacia la descubrimiento de tablas unibles con LSH dinámico y basado en datos en tiempo real
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Sistemas industriales heredados
Información unible
Tablas de base de datos
Hashing Sensible a la Localidad
Relaciones de tablas
Integración de datos
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 35
Citaciones: Sin citaciones
En los sistemas industriales heredados, descubrir información unible entre tablas de bases de datos es importante para aplicaciones como la integración de datos y el análisis de datos. Los métodos basados en Hashing Sensible a la Localidad han demostrado ser capaces de manejar relaciones caóticas y diversas entre tablas, pero estos métodos a menudo se basan en una suposición incorrecta: que la similitud de las columnas de las tablas en la base de datos refleja directamente su capacidad de unión, lo que causa problemas relacionados con la precisión de sus resultados. Para resolver este problema, este estudio propone un método de Hashing Sensible a la Localidad basado en segmentación temporal de datos dinámicos para descubrir tablas unibles. Este método introduce información de registro de la base de datos y, dentro de diferentes segmentos temporales, utiliza la matriz de co-ocurrencia de las tablas de datos para determinar su capacidad de unión. Específicamente, primero realiza una reducción de dimensionalidad MinHash en las columnas de la base de datos y luego utiliza Hashing Sensible a la Localidad para calcular la similitud estática. A continuación, identifica segmentos temporales modulares empresariales a través de los registros de la base de datos, calcula la similitud dinámica de los datos en el tiempo del segmento y construye una matriz de co-ocurrencia entre las tablas. Finalmente, la capacidad de unión entre las tablas de datos se calcula utilizando la similitud estática, la similitud dinámica y la matriz de co-ocurrencia. Los resultados experimentales demuestran que este método excluye efectivamente las tablas que solo tienen similitud pero no tienen relación empresarial para la limpieza de datos, y su precisión supera a la de los métodos que dependen únicamente de la similitud.
Descripción
En los sistemas industriales heredados, descubrir información unible entre tablas de bases de datos es importante para aplicaciones como la integración de datos y el análisis de datos. Los métodos basados en Hashing Sensible a la Localidad han demostrado ser capaces de manejar relaciones caóticas y diversas entre tablas, pero estos métodos a menudo se basan en una suposición incorrecta: que la similitud de las columnas de las tablas en la base de datos refleja directamente su capacidad de unión, lo que causa problemas relacionados con la precisión de sus resultados. Para resolver este problema, este estudio propone un método de Hashing Sensible a la Localidad basado en segmentación temporal de datos dinámicos para descubrir tablas unibles. Este método introduce información de registro de la base de datos y, dentro de diferentes segmentos temporales, utiliza la matriz de co-ocurrencia de las tablas de datos para determinar su capacidad de unión. Específicamente, primero realiza una reducción de dimensionalidad MinHash en las columnas de la base de datos y luego utiliza Hashing Sensible a la Localidad para calcular la similitud estática. A continuación, identifica segmentos temporales modulares empresariales a través de los registros de la base de datos, calcula la similitud dinámica de los datos en el tiempo del segmento y construye una matriz de co-ocurrencia entre las tablas. Finalmente, la capacidad de unión entre las tablas de datos se calcula utilizando la similitud estática, la similitud dinámica y la matriz de co-ocurrencia. Los resultados experimentales demuestran que este método excluye efectivamente las tablas que solo tienen similitud pero no tienen relación empresarial para la limpieza de datos, y su precisión supera a la de los métodos que dependen únicamente de la similitud.