Los modelos gráficos probabilísticos nos permiten codificar una distribución de probabilidad grande como una composición de distribuciones más pequeñas. Muchas veces nos interesa incorporar en el modelo la idea de que algunas de estas distribuciones más pequeñas son propensas a ser similares entre sí. En este artículo proporcionamos un enfoque geométrico de la información sobre cómo incorporar esta información y vemos que nos permite reinterpretar algunos modelos ya existentes. Nuestra propuesta se basa en proporcionar una definición formal de lo que significa estar cerca. Proporcionamos un ejemplo de cómo esta definición puede ser aplicada a distribuciones multinomiales. Utilizamos los resultados sobre distribuciones multinomiales para reinterpretar dos modelos jerárquicos ya existentes en términos de distribuciones de cercanía.