Los cítricos son el segundo cultivo más importante a nivel mundial. Una de las tareas más importantes es la clasificación, que implica separar manualmente la fruta según su grado de madurez, y en muchos casos, implica una tarea realizada manualmente por operadores humanos. Un sistema de clasificación de cítricos basado en visión artificial puede reemplazar el trabajo manual para la inspección de la clasificación de frutas. Este artículo propone un sistema de visión para la clasificación de frutas cítricas implementado en una arquitectura de hardware dedicada y eficiente de Array de compuertas programable en campo (FPGA) acoplada a una máquina de clasificación mecánica, donde el FPGA realiza la segmentación de frutas y la clasificación por color y tamaño. Entrenamos un árbol de decisiones (DT) utilizando un conjunto de datos equilibrado de imágenes de referencia para realizar la clasificación de píxeles. Evaluamos la tarea de segmentación utilizando una métrica de precisión de píxeles, definida como la proporción entre los píxeles correctamente segmentados producidos por un DT y el total de píxeles en la imagen de referencia segmentada sin conexión utilizando el algoritmo de umbral de Otsu. El equilibrio entre las imágenes clasificadas correctamente por color o tamaño y sus etiquetas correspondientes de ese color y tamaño evalúa los algoritmos de clasificación por color y tamaño. Considerando estas métricas, el sistema alcanza una precisión del 97% para la segmentación de frutas, del 94% para la clasificación por color y del 90% para la clasificación por tamaño, funcionando a 60 fps.