球球大作战刷棒棒糖蛋: 面向神經網絡壓縮的稀疏學習與分布式優化-袁曉彤 (南京信息工程大學)

主  題: 面向神經網絡壓縮的稀疏學習與分布式優化
內容簡介:以卷積神經網絡為代表的深度學習模型往往具有超大的參數規模,在提高學習性能的同時也為模型的穩定性、可解釋性和可部署性帶來巨大的挑戰。在這類高維非凸模型中引入稀疏約束學習機制是解決這類挑戰的有效途徑之一。同時如何利用分布式計算平臺進行高效深度網絡壓縮訓練也是重要問題之一。針對這一系列問題,本報告主要探討深度神經網絡中的結構化稀疏學習及大規模優化方法。將重點介紹一類基于梯度閾值追蹤的深度神經網絡動態裁剪算法和一類基于近似牛頓估計的分布式神經網絡裁剪方法。研究結果表明所提出的稀疏訓練方法可以自適應地顯著減少卷積神經網絡的冗余度,同時保持稠密模型的泛化能力。
報告人: 袁曉彤    教授
時  間:    2019-05-31    15:00
地  點:    競慧東302
舉辦單位:    統計與數學學院、澄園書院
責任編輯: 科研處