光华讲坛——社会名流与企业家论坛第 5642 期

主题：Exploring redundancy in deep neural networks

主讲人：清华大学  包承龙

主持人：经济信息工程学院  蒋太翔

时间：2019年12月8日（星期日）下午15：30

地点：西南财经大学柳林校区格致楼J311B

主办单位：经济信息工程学院  金融智能与金融工程四川省重点实验室 科研处

主讲人简介：

清华大学数学科学中心助理教授。2009年本科毕业于中山大学数学系，2014年博士毕业于新加坡国立大学数学系。研究方向主要是数学图像处理中建模、算法与分析。在IEEE TPAMI，SIAM Journal Imag. Sci.，ACHA，IP 等顶级期刊以及CVPR，ICCV，NeurIPS等顶级国际会议发表过多篇文章。

主要内容：

The deep neural networks have been widely used in many applications and the classification accuracy increases as the network goes bigger. However, the huge computation and storage have prevented their deployments in resource-limited devices. In this talk, we will first show that there exists redundancy in current CNNs under the PAC framework. Second, we will propose the self-distillation technique that can compress the deep neural networks with dynamic inference.

深层神经网络已被广泛应用于许多应用中，并且随着网络的扩大，分类精度也随之提高。但是，巨大的计算和存储阻碍了它们在资源受限的设备中的部署。在本次演讲中，我们将首先显示在PAC框架下，当前的CNN存在冗余性。其次，我们将提出一种自蒸馏技术，该技术可以通过动态推理来压缩深度神经网络。