Evaluamos sistemáticamente la metodología de entrenamiento y la eficacia de dos tareas de pretexto basadas en inpainting de predicción de contexto y restauración de contexto para la segmentación de imágenes médicas utilizando aprendizaje auto-supervisado (SSL). Diversas versiones de modelos U-Net auto-supervisados fueron entrenadas para segmentar conjuntos de datos de resonancia magnética (MRI) y tomografía computarizada (CT), cada una utilizando una combinación diferente de opciones de diseño y tareas de pretexto para determinar el efecto de estas opciones de diseño en el rendimiento de la segmentación. Las opciones de diseño óptimas se utilizaron para entrenar modelos SSL que luego se compararon con modelos supervisados de referencia para calcular métricas clínicamente relevantes en escenarios con etiquetas limitadas. Observamos que el preentrenamiento SSL con restauración de contexto utilizando parches de 32 x 32 y muestreo de disco de Poisson, transfiriendo solo los pesos del codificador preentrenado, y ajustando finamente inmediatamente con una tasa de aprendizaje inicial de 1 x 10 proporcionó el mayor beneficio sobre el aprendizaje supervisado para la precisión de segmentación de tejidos de MRI y CT (<0.001). Para ambos conjuntos de datos y la mayoría de escenarios con etiquetas limitadas, escalar el tamaño de los datos de preentrenamiento sin etiqueta resultó en un mejor rendimiento de segmentación. Los modelos SSL preentrenados con esta cantidad de datos superaron a los modelos supervisados de referencia en el cálculo de métricas clínicamente relevantes, especialmente cuando el rendimiento del aprendizaje supervisado era bajo. Nuestros resultados demuestran que el preentrenamiento SSL utilizando tareas de pretexto basadas en inpainting puede ayudar a aumentar la robustez de los modelos en escenarios con etiquetas limitadas y reducir los errores en el peor de los casos que ocurren con el aprendizaje supervisado.