logo móvil
Contáctanos

Gestión de Bases de Datos Adaptativa y Escalable con Integración de Aprendizaje Automático: Un Estudio de Caso de PostgreSQL

Autores: Abbasi, Maryam; Bernardo, Marco V.; Váz, Paulo; Silva, José; Martins, Pedro

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

Gestión de Bases de Datos Adaptativa y Escalable con Integración de Aprendizaje Automático: Un Estudio de Caso de PostgreSQL


Categoría

Gestión y administración

Subcategoría

Gestión de la tecnología y la inovación

Palabras clave

Sistemas de bases de datos
Rendimiento de consultas
Aprendizaje automático
PostgreSQL
Gestión de carga de trabajo
Optimización de consultas

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 1

Citaciones: Sin citaciones


Descripción
La creciente complejidad de gestionar sistemas de bases de datos modernos, particularmente en términos de optimizar el rendimiento de las consultas para grandes conjuntos de datos, presenta desafíos significativos que los métodos tradicionales a menudo no logran abordar. Este documento propone un marco integral para integrar modelos avanzados de aprendizaje automático (ML) dentro de la arquitectura de un sistema de gestión de bases de datos (DBMS), con un enfoque específico en PostgreSQL. Nuestro enfoque aprovecha una combinación de técnicas de aprendizaje supervisado y no supervisado para predecir los tiempos de ejecución de consultas, optimizar el rendimiento y gestionar dinámicamente las cargas de trabajo. A diferencia de las soluciones existentes que abordan tareas de optimización específicas de forma aislada, nuestro marco proporciona una plataforma unificada que soporta la inferencia de modelos en tiempo real y ajustes automáticos de configuración de la base de datos basados en patrones de carga de trabajo. Una contribución clave de nuestro trabajo es la integración de capacidades de ML directamente en el motor del DBMS, lo que permite una interacción fluida entre los modelos de ML y el proceso de optimización de consultas. Esta integración permite el reentrenamiento automático de modelos y la gestión dinámica de cargas de trabajo, lo que resulta en mejoras sustanciales tanto en los tiempos de respuesta de las consultas como en el rendimiento general del sistema. Nuestras evaluaciones utilizando el conjunto de datos de referencia de Soporte a la Decisión del Consejo de Rendimiento de Procesamiento de Transacciones (TPC-DS) a escalas de 100 GB, 1 TB y 10 TB demuestran una reducción de hasta el 42% en los tiempos de ejecución de consultas y una mejora del 74% en el rendimiento en comparación con enfoques tradicionales. Además, abordamos desafíos como los posibles conflictos en las recomendaciones de ajuste y la sobrecarga de rendimiento asociada con la integración de ML, proporcionando información para futuras direcciones de investigación. Este estudio está motivado por la necesidad de mecanismos de ajuste autónomos para gestionar cargas de trabajo heterogéneas a gran escala mientras se responden preguntas clave de investigación, tales como las siguientes: (1) ¿Cómo se pueden integrar modelos de aprendizaje automático en un DBMS para mejorar la optimización de consultas y la gestión de cargas de trabajo? (2) ¿Qué mejoras de rendimiento se pueden lograr a través del ajuste dinámico de la configuración basado en patrones de carga de trabajo en tiempo real? Nuestros resultados sugieren que el marco propuesto reduce significativamente la necesidad de administración manual de bases de datos mientras se adapta eficazmente a cargas de trabajo en evolución, ofreciendo una solución robusta para entornos de datos modernos a gran escala.

Otros recursos que podrían interesarte

Temas Virtualpro