讲座题目：Automatic, Dynamic and Nearly Optimal Learning Rate Specification via Local Quadratic Approximation

讲座时间：2021年4月28日，星期三，上午10:00-12:00

讲座人： 王汉生 教授，北京大学光华管理学院商务统计与经济计量系

讲座简介：

In deep learning tasks, the update step size determined by the learning rate at each iteration plays a critical role in gradient-based optimization. However, determining the appropriate learning rate in practice typically relies on subjective judgement. In this work, we propose a novel optimization method based on local quadratic approximation (LQA). In each update step, we locally approximate the loss function along the gradient direction by using a standard quadratic function of the learning rate. Subsequently, we propose an approximation step to obtain a nearly optimal learning rate in a computationally efficient manner. The proposed LQA method has three important features. First, the learning rate is automatically determined in each update step. Second, it is dynamically adjusted according to the current loss function value and parameter estimates. Third, with the gradient direction fixed, the proposed method attains a nearly maximum reduction in the loss function. Extensive experiments were conducted to prove the effectiveness of the proposed LQA method.

讲座人简介： 

王汉生，北京大学光华管理学院商务统计与经济计量系，教授，博导，系主任。全国工业统计学教学研究会青年统计学家协会创始会长，美国统计学会（ASA）Fellow，国际统计协会（ISI）Elected Member。先后历任8个国际学术期刊副主编（Associate Editor）。在国内外各种专业杂志上发表文章100+篇，并合著有英文专著共1本，（合）著中文教材4本。是爱思唯尔中国高被引学者（数学类，2014—2018）。在理论研究方面，王汉生教授主要关注变量选择、数据降维、高维数据分析、以及复杂网络数据分析等领域。其所有这些研究都是以大规模、复杂、超高维数据分析为核心。相关的应用领域包括但不局限于：中文文本、网络结构、位置轨迹。在业界实践方面，其曾担任博雅立方科技有限公司首席科学家（2009—2015），百分点首席统计学家（2015—现在）。此外，其与量帮科技、考拉征信、彩虹无线、蓬景数字、西门子、三一重工、格灵深瞳、天罡仪表、广联达等众多企业均有联合研究工作，涉及量化投资、互联网征信、车联网、移动设备RTB广告竞价、搜索引擎营销、电子商务、重装制造业等多个重要行业。

姜丹丹 邀请您参加腾讯会议

会议主题：姜丹丹预定的会议

会议时间：2021/03/24-2021/06/30 10:00-12:00(GMT+08:00) 中国标准时间 - 北京, 每周 (周三)

点击链接入会，或添加至会议列表：

https://meeting.tencent.com/s/x0rE3894gGvK

会议 ID：766 6038 9461

会议密码：214257

手机一键拨号入会

+8675536550000,,76660389461# (中国大陆)

+85230018898,,,2,76660389461# (中国香港)

根据您的位置拨号

+8675536550000 (中国大陆)

+85230018898 (中国香港)