Entropía y la divergencia de Kullback-Leibler para redes bayesianas: complejidad computacional e implementación eficiente
Autores: Scutari, Marco
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Entropía y la divergencia de Kullback-Leibler para redes bayesianas: complejidad computacional e implementación eficiente
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Software
Palabras clave
Redes bayesianas
Aprendizaje automático
Inferencia causal
Estructura gráfica
Entropía de Shannon
Divergencia de Kullback-Leibler
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 35
Citaciones: Sin citaciones
Las redes bayesianas (BNs) son un modelo fundamental en aprendizaje automático e inferencia causal. Su estructura gráfica puede manejar problemas de alta dimensionalidad, dividirlos en una colección dispersa de problemas más pequeños, subyace en la causalidad de Judea Pearl, y determina su explicabilidad e interpretabilidad. A pesar de su popularidad, casi no hay recursos en la literatura sobre cómo calcular la entropía de Shannon y la divergencia de Kullback-Leibler (KL) para BNs bajo sus suposiciones de distribución más comunes. En este artículo, proporcionamos algoritmos computacionalmente eficientes para ambos al aprovechar la estructura gráfica de BNs, y los ilustramos con un conjunto completo de ejemplos numéricos. En el proceso, mostramos que es posible reducir la complejidad computacional de KL de cúbica a cuadrática para BNs gaussianas.
Descripción
Las redes bayesianas (BNs) son un modelo fundamental en aprendizaje automático e inferencia causal. Su estructura gráfica puede manejar problemas de alta dimensionalidad, dividirlos en una colección dispersa de problemas más pequeños, subyace en la causalidad de Judea Pearl, y determina su explicabilidad e interpretabilidad. A pesar de su popularidad, casi no hay recursos en la literatura sobre cómo calcular la entropía de Shannon y la divergencia de Kullback-Leibler (KL) para BNs bajo sus suposiciones de distribución más comunes. En este artículo, proporcionamos algoritmos computacionalmente eficientes para ambos al aprovechar la estructura gráfica de BNs, y los ilustramos con un conjunto completo de ejemplos numéricos. En el proceso, mostramos que es posible reducir la complejidad computacional de KL de cúbica a cuadrática para BNs gaussianas.