Estudiamos clases generales de problemas de optimización dinámica en tiempo discreto y juegos dinámicos con controles de retroalimentación. En tales problemas, la solución se encuentra generalmente utilizando la ecuación de Bellman o Hamilton-Jacobi-Bellman para la función de valor en el caso de la optimización dinámica y un conjunto de ecuaciones acopladas para juegos dinámicos, lo cual no siempre es posible con precisión. Derivamos reglas generales que indican qué tipo de errores en el cálculo o la computación de la función de valor no resultan en errores en el cálculo o la computación de un control óptimo o un equilibrio de Nash a lo largo de la trayectoria correspondiente. Este resultado general no solo concierne a errores derivados del uso de métodos numéricos, sino también a errores derivados de algunas suposiciones preliminares relacionadas con la sustitución de las funciones de valor reales por ciertas restricciones asumidas a priori para ellas en ciertos subconjuntos. Ilustramos los resultados con un ejemplo motivador de las Guerras del Pescado, con singularidades en los pagos.