• 論文
                        主辦單位:煤炭科學研究總院有限公司、中國煤炭學會學術期刊工作委員會

                        深度學習中知識蒸餾研究綜述

                        2022-09-16

                        作者:邵仁榮,劉宇昂,張偉,王駿

                        作者單位:華東師范大學計算機科學與技術學院


                        在人工智能迅速發展的今天,深度神經網絡廣泛應用于各個研究領域并取得了巨大的成功,但也同樣面臨著諸多挑戰.


                        首先,為了解決復雜的問題和提高模型的訓練效果,模型的網絡結構逐漸被設計得深而復雜,難以 適應移動計算發展對低資源、低功耗的需求.知識蒸餾最初作為一種從大型教師模型向淺層學生模型遷移知識、提 升性能的學習范式被用于模型壓縮.然而隨著知識蒸餾的發展,其教師學生的架構作為一種特殊的遷移學習方式,演化出了豐富多樣的變體和架構,并被逐漸擴展到各種深度學習任務和場景中,包括計算機視覺、自然語言處理、推薦系統等等.


                        另外,通過神經網絡模型之間遷移知識的學習方式,可以聯結跨模態或跨域的學習任務,避免知識遺忘;還能實現模型和數據的分離,達到保護隱私數據的目的.知識蒸餾在人工智能各個領域發揮著越來越重要 的作用,是解決很多實際問題的一種通用手段.


                        本文將近些年來知識蒸餾的主要研究成果進行梳理并加以總結,分析該領域所面臨的挑戰,詳細闡述知識蒸餾的學習框架,從多種分類角度對知識蒸餾的相關工作進行對比和分析, 介紹了主要的應用場景,在最后對未來的發展趨勢提出了見解。


                        論文鏈接
                          責任編輯:宮在芹
                        今日專家

                        男,1968年出生于山西運城,教授級高工,碩士學位,現山西焦煤集團公司資...

                        亮點論文

                        我國已實行分類、分級的土壤環境監管工作,但尚未融合分區治理修復策略。自然地球化學異?;蛉藶槲廴疚锟臻g排放差異可使土壤環境污染具有區域性特征。實行區域土壤...

                        今日企業
                        • 尤洛卡精準信息工程股份有限公司是國內煤礦頂板災害防治設備的龍...

                        主辦單位:煤炭科學研究總院有限公司 中國煤炭學會學術期刊工作委員會

                        ©版權所有2015 煤炭科學研究總院有限公司 地址:北京市朝陽區和平里青年溝東路煤炭大廈 郵編:100013
                        京ICP備05086979號-16  技術支持:云智互聯
                        国产成人免费无庶挡视频