Usando la teoría de Ramsey para medir correlaciones espurias inevitables en grandes conjuntos de datos
Autores: Pawliuk, Micheal; Waddell, Michael Alexander
Idioma: Inglés
Editor: MDPI
Año: 2019
Acceso abierto
Artículo científico
2019
Usando la teoría de Ramsey para medir correlaciones espurias inevitables en grandes conjuntos de datos
Categoría
Matemáticas
Subcategoría
Análisis matemático
Palabras clave
Conjunto de datos
Patrones
Teoría de Ramsey
Gráficos
Teorema de Goodman
Herramientas estadísticas
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 21
Citaciones: Sin citaciones
Dado un conjunto de datos, cuantificamos el tamaño de los patrones que siempre deben existir en el conjunto de datos. Esto se hace formalmente a través de la teoría de Ramsey de grafos, y un límite cuantitativo conocido como el teorema de Goodman. Al combinar herramientas estadísticas con la teoría de Ramsey de grafos, ofrecemos una comprensión matizada de qué tan lejos está un conjunto de datos de estar correlacionado y qué califica como un patrón significativo. Este método es aplicable a una amplia gama de conjuntos de datos. Como ejemplos, analizamos dos conjuntos de datos muy diferentes. El primero es un conjunto de datos de votantes repetidos en el congreso de EE. UU. en 1984, y cuantificamos qué tan homogéneo es un subconjunto de votantes del congreso. También medimos qué tan transitivo es un subconjunto de votantes. La teoría estadística de Ramsey también se utiliza con datos de comercio económico global para proporcionar evidencia de que los mercados globales son bastante transitivos. Si bien estos conjuntos de datos son pequeños en comparación con Big Data, ilustran las nuevas aplicaciones que estamos proponiendo. Concluimos con llamados específicos para fortalecer las conexiones entre la teoría de Ramsey y los métodos estadísticos.
Descripción
Dado un conjunto de datos, cuantificamos el tamaño de los patrones que siempre deben existir en el conjunto de datos. Esto se hace formalmente a través de la teoría de Ramsey de grafos, y un límite cuantitativo conocido como el teorema de Goodman. Al combinar herramientas estadísticas con la teoría de Ramsey de grafos, ofrecemos una comprensión matizada de qué tan lejos está un conjunto de datos de estar correlacionado y qué califica como un patrón significativo. Este método es aplicable a una amplia gama de conjuntos de datos. Como ejemplos, analizamos dos conjuntos de datos muy diferentes. El primero es un conjunto de datos de votantes repetidos en el congreso de EE. UU. en 1984, y cuantificamos qué tan homogéneo es un subconjunto de votantes del congreso. También medimos qué tan transitivo es un subconjunto de votantes. La teoría estadística de Ramsey también se utiliza con datos de comercio económico global para proporcionar evidencia de que los mercados globales son bastante transitivos. Si bien estos conjuntos de datos son pequeños en comparación con Big Data, ilustran las nuevas aplicaciones que estamos proponiendo. Concluimos con llamados específicos para fortalecer las conexiones entre la teoría de Ramsey y los métodos estadísticos.