Inferir y comparar funciones de densidad de probabilidad complejas y multivariables es fundamental para problemas en varios campos, incluyendo el aprendizaje probabilístico, la teoría de redes y el análisis de datos. La clasificación y la predicción son las dos caras de esta clase de problema. Este estudio adopta un enfoque que simplifica muchos aspectos de estos problemas al presentar una expansión estructurada de la divergencia de Kullback-Leibler, una función central en teoría de la información, y diseñar una métrica de distancia basada en esta divergencia. Usando la dualidad de inversión de Möbius entre entropías multivariables e información de interacción multivariable, expresamos la divergencia como una serie aditiva en el número de variables interactivas, lo que proporciona un conjunto restringido y simplificado de distribuciones para usar como aproximación y con las cuales modelar datos. Las truncaciones de esta serie generan aproximaciones basadas en el número de variables interactivas. Se ilustran los primeros términos de la expansión-truncamiento y se muestra que conducen naturalmente a aproximaciones familiares, incluida la conocida aproximación de superposición de Kirkwood. La truncación también puede inducir una relación simple entre la multi-información y la información de interacción. Se describe entonces una medida de distancia entre distribuciones, basada en la divergencia de Kullback-Leibler, y se muestra que es una métrica verdadera si se restringe adecuadamente. Se muestra que la expansión genera una jerarquía de métricas y conecta este trabajo con formalismos de geometría de la información. Se presenta un ejemplo de la aplicación de estas métricas a un problema de comparación de grafos que muestra que el formalismo se puede aplicar a una amplia gama de problemas de redes y proporciona un enfoque general para aproximaciones sistemáticas en números de interacciones o conexiones, así como una métrica cuantitativa relacionada.