En la selección de características, la redundancia es una de las principales preocupaciones, ya que la eliminación de la redundancia en los datos está relacionada con la reducción de la dimensionalidad. A pesar de la evidencia de tal conexión, pocos trabajos presentan estudios teóricos sobre la redundancia. En este trabajo, analizamos el efecto de las características redundantes en el rendimiento de los modelos de clasificación. Podemos resumir la contribución de este trabajo de la siguiente manera: (i) desarrollar un marco teórico para analizar la construcción y selección de características, (ii) mostrar que ciertas características definidas adecuadamente son redundantes pero hacen que los datos sean linealmente separables, y (iii) proponer un criterio formal para validar métodos de construcción de características. Los resultados de los experimentos sugieren que un gran número de características redundantes pueden reducir el error de clasificación. Los resultados implican que no es suficiente analizar las características únicamente utilizando criterios que midan la cantidad de información proporcionada por dichas características.