Los mercados financieros se caracterizan por la no estacionariedad, cambios de régimen e interacciones complejas entre activos, lo que desafía la optimización tradicional de carteras y motiva el aprendizaje por refuerzo (RL) para la toma de decisiones adaptativa. Sin embargo, muchos enfoques basados en RL siguen siendo predominantemente centrados en el retorno, con el riesgo, la incertidumbre y la supervisión humana solo débilmente integrados, lo que limita la robustez y la aplicabilidad práctica. Esta revisión proporciona una síntesis crítica del aprendizaje por refuerzo consciente del riesgo y sensible a la incertidumbre para la optimización de carteras desde una perspectiva de colaboración humano-AI. Analizamos los principales paradigmas arquitectónicos, incluidos sistemas de agente único, jerárquicos, multiagente y modulares, junto con estrategias de modelado de riesgo (por ejemplo, modelado de recompensas, optimización basada en restricciones y medidas de riesgo a la baja como CVaR) y enfoques probabilísticos para la estimación de incertidumbre (por ejemplo, redes neuronales bayesianas, abandono de Monte Carlo y conjuntos). Un análisis estructurado de 57 estudios completamente evaluados revela que solo 5 (9%) acoplan explícitamente la estimación de incertidumbre con mecanismos de restricción de riesgo, mientras que 38 (69%) tratan el riesgo y la incertidumbre como componentes estructuralmente independientes. Identificamos una limitación estructural central: los objetivos de riesgo rara vez se condicionan a la incertidumbre epistémica, mientras que las estimaciones de incertidumbre rara vez influyen en los mecanismos de restricción o en la asignación de capital. Este desacoplamiento conduce a marcos fragmentados que siguen siendo difíciles de implementar en entornos financieros reales. Al integrar el diseño arquitectónico, el modelado de riesgo, la estimación de incertidumbre y las prácticas de evaluación, esta revisión propone una perspectiva unificada y orientada a la implementación para desarrollar sistemas de apoyo a la decisión de cartera alineados con la gobernanza.