Las técnicas modernas de aprendizaje estadístico a menudo incluyen aprendizaje de conjuntos, para los cuales la combinación de múltiples procedimientos de predicción separados (componentes del conjunto) puede mejorar la precisión de la predicción. Aunque los enfoques de conjunto se utilizan ampliamente, queda trabajo por hacer para mejorar nuestra comprensión de los fundamentos teóricos de aspectos como la identificabilidad y las tasas de convergencia relativas de los componentes del conjunto. Al considerar el aprendizaje de conjuntos para dos componentes de aprendizaje de conjuntos como un modelo de doble penalización, proporcionamos un marco para comprender mejor la convergencia relativa y la identificabilidad de los dos componentes. Además, con condiciones apropiadas, el marco proporciona garantías de convergencia para una forma de apilamiento residual al iterar entre los dos componentes como un procedimiento de ascenso de coordenadas cíclico. Realizamos experimentos numéricos en tres simulaciones sintéticas y dos conjuntos de datos del mundo real para ilustrar el rendimiento de nuestro enfoque y justificar nuestra teoría.