En los últimos años, los modelos de aprendizaje profundo se han utilizado con éxito en casi todos los campos, tanto en la industria como en la academia, especialmente para tareas de visión por computadora. Sin embargo, estos modelos son enormes en tamaño, con millones (y miles de millones) de parámetros, por lo que no pueden ser desplegados en sistemas y dispositivos con recursos limitados (por ejemplo, sistemas integrados y teléfonos móviles). Para abordar esto, se han propuesto varias técnicas de compresión y aceleración de modelos. Como un tipo representativo de ellas, la destilación de conocimiento sugiere una forma de aprender de manera efectiva un modelo de estudiante pequeño a partir de uno o varios modelos de profesor grandes. Ha atraído cada vez más atención desde que mostró su rendimiento prometedor. En el trabajo, proponemos un modelo de conjunto que combina modelos de destilación de conocimiento ligeros basados en características, respuestas y relaciones para tareas simples de clasificación de imágenes. En nuestro marco de destilación de conocimiento, utilizamos ResNet-20 como red de estudiante y ResNet-110 como red de profesor. Los resultados experimentales demuestran que nuestro modelo de conjunto propuesto supera a otros modelos de destilación de conocimiento, así como al gran modelo de profesor para tareas de clasificación de imágenes, con menos potencia computacional que el modelo de profesor.