La selección de características es esencial en el aprendizaje automático y la ciencia de datos. Recientemente, ha habido un esfuerzo creciente para aplicar varios métodos matemáticos para construir nuevos algoritmos de selección de características. En este estudio, presentamos una revisión exhaustiva del estado del arte de tales técnicas. Proponemos una nueva taxonomía basada en un marco matemático para agrupar la literatura existente y proporcionar un análisis de la investigación en cada categoría desde una perspectiva matemática. Los marcos clave discutidos incluyen métodos basados en la varianza, métodos de regularización y métodos bayesianos. Al analizar las fortalezas y limitaciones de cada técnica, proporcionamos ideas sobre su aplicabilidad en diversos dominios. La revisión concluye con tendencias emergentes y futuras direcciones de investigación para métodos matemáticos en la selección de características.