Los sistemas de tenis de mesa robóticos requieren un sistema de visión que pueda rastrear la posición de la pelota con baja latencia y alta tasa de muestreo. Alterar la pelota para simplificar el rastreo utilizando, por ejemplo, un recubrimiento infrarrojo cambia la física de la trayectoria de la pelota. Como resultado, los sistemas de tenis de mesa utilizan sistemas de rastreo personalizados para seguir la pelota basados en algoritmos heurísticos que respetan las restricciones de tiempo real aplicadas a imágenes RGB capturadas con un conjunto de cámaras. Sin embargo, estos algoritmos heurísticos a menudo informan posiciones erróneas de la pelota, y las políticas de tenis de mesa típicamente necesitan incorporar heurísticas adicionales para detectar y posiblemente corregir valores atípicos. En este artículo, proponemos un sistema de visión para la detección y el rastreo de objetos que se centra en la fiabilidad mientras proporciona un rendimiento en tiempo real. Nuestra suposición es que al utilizar múltiples cámaras, podemos encontrar y descartar los errores obtenidos en la fase de detección de objetos al verificar la consistencia con las posiciones reportadas por otras cámaras. Proporcionamos una implementación de código abierto del sistema de rastreo propuesto para simplificar futuras investigaciones en tenis de mesa robótico o aplicaciones de rastreo relacionadas con fuertes requisitos de tiempo real. Evaluamos el sistema propuesto a fondo en simulación y en el sistema real, superando trabajos anteriores. Además, mostramos que la precisión y robustez del sistema propuesto aumenta a medida que se añaden más cámaras. Finalmente, evaluamos el rendimiento en el juego de tenis de mesa de un método existente en el robot real utilizando el sistema de visión propuesto. Medimos un ligero aumento en el rendimiento en comparación con un sistema de visión anterior incluso después de eliminar todas las heurísticas presentes anteriormente para filtrar observaciones erróneas de la pelota.