作者：邵仁榮，劉宇昂，張偉，王駿

作者單位：華東師范大學計算機科學與技術學院

在人工智能迅速發展的今天，深度神經網絡廣泛應用于各個研究領域并取得了巨大的成功，但也同樣面臨著諸多挑戰．

首先，為了解決復雜的問題和提高模型的訓練效果，模型的網絡結構逐漸被設計得深而復雜，難以 適應移動計算發展對低資源、低功耗的需求．知識蒸餾最初作為一種從大型教師模型向淺層學生模型遷移知識、提 升性能的學習范式被用于模型壓縮．然而隨著知識蒸餾的發展，其教師學生的架構作為一種特殊的遷移學習方式，演化出了豐富多樣的變體和架構，并被逐漸擴展到各種深度學習任務和場景中，包括計算機視覺、自然語言處理、推薦系統等等．

另外，通過神經網絡模型之間遷移知識的學習方式，可以聯結跨模態或跨域的學習任務，避免知識遺忘；還能實現模型和數據的分離，達到保護隱私數據的目的．知識蒸餾在人工智能各個領域發揮著越來越重要 的作用，是解決很多實際問題的一種通用手段．

本文將近些年來知識蒸餾的主要研究成果進行梳理并加以總結，分析該領域所面臨的挑戰，詳細闡述知識蒸餾的學習框架，從多種分類角度對知識蒸餾的相關工作進行對比和分析， 介紹了主要的應用場景，在最后對未來的發展趨勢提出了見解。

論文鏈接