Distillation
Distillation, auch Wissensdestillation genannt, ist ein Verfahren, bei dem ein kleineres Modell darauf trainiert wird, das Verhalten eines größeren, leistungsfähigeren Modells nachzubilden. Ziel ist es, ähnliche Qualität bei geringerem Rechenaufwand und niedrigerer Latenz zu erreichen.