Evaluando el impacto de las interconexiones ópticas en una arquitectura de aprendizaje automático de múltiples chips
Autores: Ro, Yuhwan; Lee, Eojin; Ahn, Jung Ho
Idioma: Inglés
Editor: MDPI
Año: 2018
Acceso abierto
Artículo científico
2018
Evaluando el impacto de las interconexiones ópticas en una arquitectura de aprendizaje automático de múltiples chips
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Tendencias
Redes neuronales
Aprendizaje automático
Acelerador
Interconexiones ópticas
Tiempo de entrenamiento
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 39
Citaciones: Sin citaciones
Siguiendo las tendencias que enfatizan las redes neuronales para el aprendizaje automático, muchos estudios sobre sistemas informáticos se han centrado en acelerar las redes neuronales profundas. Estos estudios a menudo proponen utilizar el acelerador especializado en una red neuronal y la arquitectura de clúster compuesta por chips de aceleración interconectados. Observamos que la comunicación entre aceleradores dentro de un clúster tiene un impacto significativo en el tiempo de entrenamiento de la red neuronal. En este documento, mostramos las ventajas de las interconexiones ópticas para la arquitectura de aprendizaje automático de múltiples chips al demostrar mejoras de rendimiento mediante la sustitución de las interconexiones eléctricas por las ópticas en un sistema de múltiples chips existente. Proponemos utilizar una implementación de interconexión óptica altamente práctica y diseñar un modelo de rendimiento aritmético para evaluar de manera justa el impacto de las interconexiones ópticas en una plataforma de aceleración de aprendizaje automático. En nuestra evaluación de nueve Redes Neuronales Convolucionales con varios tamaños de entrada, las interconexiones ópticas de 100 y 400 Gbps reducen el tiempo de entrenamiento en un promedio del 20.6% y 35.6%, respectivamente, en comparación con el sistema base con interconexiones eléctricas de 25.6 Gbps.
Descripción
Siguiendo las tendencias que enfatizan las redes neuronales para el aprendizaje automático, muchos estudios sobre sistemas informáticos se han centrado en acelerar las redes neuronales profundas. Estos estudios a menudo proponen utilizar el acelerador especializado en una red neuronal y la arquitectura de clúster compuesta por chips de aceleración interconectados. Observamos que la comunicación entre aceleradores dentro de un clúster tiene un impacto significativo en el tiempo de entrenamiento de la red neuronal. En este documento, mostramos las ventajas de las interconexiones ópticas para la arquitectura de aprendizaje automático de múltiples chips al demostrar mejoras de rendimiento mediante la sustitución de las interconexiones eléctricas por las ópticas en un sistema de múltiples chips existente. Proponemos utilizar una implementación de interconexión óptica altamente práctica y diseñar un modelo de rendimiento aritmético para evaluar de manera justa el impacto de las interconexiones ópticas en una plataforma de aceleración de aprendizaje automático. En nuestra evaluación de nueve Redes Neuronales Convolucionales con varios tamaños de entrada, las interconexiones ópticas de 100 y 400 Gbps reducen el tiempo de entrenamiento en un promedio del 20.6% y 35.6%, respectivamente, en comparación con el sistema base con interconexiones eléctricas de 25.6 Gbps.