La extracción eficiente y distinción de negativos difíciles es la clave para el Aprendizaje Contrastivo (CL) en diversas tareas de comprensión visual. Al enfatizar adecuadamente la penalización de los negativos difíciles, la Extracción de Negativos Difíciles (HNM) puede mejorar el rendimiento del CL. Sin embargo, no existe un método para analizar cuantitativamente la fuerza de la penalización de los negativos difíciles, lo que dificulta la convergencia del entrenamiento. En este artículo, proponemos un método para medir y controlar la fuerza de la penalización. Primero, definimos una métrica de fuerza de penalización que proporciona una herramienta de análisis cuantitativo para HNM. Luego, proponemos una pérdida Triplet con Control de Fuerza de Penalización (T-PSC), que puede equilibrar la fuerza de penalización de los negativos difíciles y la dificultad de la optimización del modelo. Para verificar la efectividad del método T-PSC propuesto en diferentes modalidades, lo aplicamos a dos tareas de comprensión visual: Recuperación de Imagen-Texto (ITR) para procesamiento multimodal y Localización de Acciones Temporales (TAL) para procesamiento de video. T-PSC se puede aplicar a modelos existentes de ITR y TAL de forma plug-and-play sin cambios. Los experimentos combinados con modelos existentes muestran que un control razonable de la fuerza de penalización puede acelerar el entrenamiento y mejorar el rendimiento en tareas de nivel superior.