学术报告

报告题目：深度神经网络的动态低维结构

报告人： 黄晓霖(上海交通大学)

报告时间：2022年5月12日（星期四）10:00-12:00

腾讯会议：207-656-127

参加人员：教师、研究生、本科生

报告摘要：深度神经网络的参数量极大，产生了很多冗余的特征，这也是神经网络存在对抗样本的根本原因之一。找到有效的低维结构、有效地去除冗余有望很好地控制神经网络、提升其稳健性。通过分析神经网络的动态特性，我们提出了神经网络动态低维结构，发展了新的降维方法，能够在很低维的空间中对神经网络进行有效的训练。实验表明，对于CIFAR级别的任务，在40维空间对具有千万个参数的神经网络进行训练就能够达到标准训练的效果。神经网络动态低维结构在对网络的理解和实际应用方面有着重要的意义。例如，在提取的低维空间中进行对抗训练，能够有效克服过拟合现象，使单步对抗训练达到多步对抗训练的效果。

报告人简介：黄晓霖副教授，本科毕业于西安交通大学、博士毕业于清华大学，博士后工作于比利时鲁汶大学，并在德国埃尔朗根-纽伦堡大学任洪堡学者，现为上海交通大学电子信息与电气工程学院副教授、博士生导师。他长期从事机器学习理论与算法研究，发表论文五十余篇，其中十余篇发表于领域重要期刊《Journal of Machine Learning Research》《IEEE Transactions on Pattern Analysis and Machine Intelligence》《Applied and Computational Harmonic Analysis》，主持国家自然科学基金面上项目、JWKJW创新专项，参与“2030新一代人工智能”重大专项和“人工智能前沿基础理论与关键技术”上海市科技重大专项。2017年入选国家特聘专家（青年项目）。