A pesar de los importantes avances de los últimos años, el campo del Aprendizaje Automático continúa enfrentando desafíos de investigación y técnicos. Principalmente, estos provienen de los datos masivos y los datos en continuo, que requieren que los modelos se actualicen o se vuelvan a entrenar con frecuencia, a expensas de importantes recursos computacionales. Una solución es el uso de algoritmos de aprendizaje distribuido, que pueden aprender de manera distribuida, a partir de conjuntos de datos distribuidos. En este documento, describimos CEDEs, un sistema de aprendizaje distribuido en el que los modelos son Ensambles distribuidos heterogéneos, es decir, modelos complejos constituidos por diferentes modelos base, entrenados con diferentes y distribuidos subconjuntos de datos. Específicamente, abordamos el problema de predecir el tiempo de entrenamiento de un modelo dado, dadas sus características y las características de los datos. Dado que la creación de un Ensamble puede implicar el entrenamiento de cientos de modelos base, la información sobre la duración prevista de cada una de estas tareas individuales es fundamental para una gestión eficiente de los recursos computacionales del clúster y para minimizar el makespan, es decir, el tiempo que lleva entrenar todo el Ensamble. Los resultados muestran que el enfoque propuesto es capaz de predecir el tiempo de entrenamiento de Árboles de Decisión con un error promedio de 0.103 s y el tiempo de entrenamiento de Redes Neuronales con un error promedio de 21.263 s. También mostramos cómo los resultados dependen significativamente de los hiperparámetros del modelo y de las características de los datos de entrada.