Durante los últimos años, los modelos de aprendizaje profundo (DL) se han utilizado en varias aplicaciones con grandes conjuntos de datos y modelos complejos. Estas aplicaciones requieren métodos para entrenar modelos más rápido, como el aprendizaje profundo distribuido (DDL). Este artículo propone un enfoque empírico con el objetivo de medir la aceleración de DDL lograda al utilizar diferentes estrategias de paralelismo en los nodos. El paralelismo local se considera bastante importante en el diseño de una arquitectura de múltiples nodos de alto rendimiento porque DDL depende del tiempo requerido por todos los nodos. También se discute el impacto de los recursos computacionales (CPU y GPU) ya que se sabe que la GPU acelera los cálculos. Los resultados experimentales muestran que el paralelismo local impacta la aceleración global de DDL dependiendo de la complejidad del modelo neuronal y del tamaño del conjunto de datos. Además, nuestro enfoque logra una aceleración mejor que Horovod.