Como una forma específica de destilación de conocimiento (KD), la auto-destilación de conocimiento permite que una red estudiantil destile progresivamente su propio conocimiento sin depender de una red de profesor preentrenada y compleja; sin embargo, estudios recientes de auto-KD han descubierto que el conocimiento adicional oscuro capturado por una arquitectura auxiliar o aumento de datos podría crear mejores objetivos suaves para mejorar la red pero a costa de significativamente más cálculos y/o parámetros.