智源论坛(第2期)——人工智能的数理基础(系列报告)

Thu, 09 May 2019 09:00:00 GMT ~ Thu, 16 May 2019 12:00:00 GMT
Limited 280
北京智源人工智能研究院

Show

Please select the order price

第三方登录:

More Details

Event DetailsHide...

屏幕快照 2019-05-03 下午3.27.05.png

智源系列论坛,AI技术前沿精粹尽览


先行者解读,为岔路口的你指点迷津


独家经验分享,由当事人向你道来


顶尖学者零距离,传递深邃思考,打开你永不满足的好奇心


探讨技术,亦分享职业经验,助你成为更好的研究者、工程师


01

活动介绍

当前人工智能面临如下重大的理论挑战:可计算性(computability)、可解释性(interpretability)、泛化性(generalization)、稳定性(stability)。围绕这些基础问题,我们从数学、统计和计算的角度,设立了“人工智能的数理基础”重大研究方向。此次智源论坛,15位学者将分享他们在这一领域的研究经验。


02

时间地点

活动时间:2019年5月9日、13日、16日,9:00~11:45

活动地点:海淀区 新建宫门路2号 中关村国家自主创新示范区 会议中心

关于停车:为倡导绿色出行,我们建议您乘坐公共交通工具。如您开车前来,请下载并用A4纸打印停车证(请复制链接,在浏览器中打开并下载)。


03

活动日程


201959

9:00-9:30

Bridging Deep Neural Networks and Differential Equations for Image Analysis and Beyond

董彬(北京国际数学研究中心,北京大学)

9:30-10:00

破解机器学习中的维数灾难:从可辨识性谈起

林伟 (北京大学)

10:00-10:30

面向智能的数学

邵嗣烘(北京大学)

10:30-10:45

茶歇

10:45-11:15

Deep Learning for Multiscale Molecular Modeling

王涵(北京应用物理与计算数学研究所)

11:15-11:45

数学工程---理解机器学习的一种角度

张志华(北京大学)

 

2019513

9:00-9:30

基于统计学模型和推断的人工智能方法

邓柯(清华大学)

9:30-10:00

Towards a statistical understanding of deep neural network

林乾(清华大学)

10:00-10:30

基于流形和偏微分方程的机器学习建模

史作强(清华大学)

10:30-10:45

茶歇

10:45-11:15

采用人工神经网络求解偏微分方程初探

杨超(北京大学)

11:15-11:45

最优化二阶算法的一些进展

文再文(北京大学)

 

2019516

9:00-9:30

稀有事件、能量景观与深度学习

李铁军(北京大学)

9:30-10:00

Approximation Problems in Neural Networks

明平兵(中科院数学与系统科学研究院)

10:00-10:30

Training GANs with Centripetal Acceleration

戴彧虹(中科院数学与系统科学研究院)

10:30-10:45

茶歇

10:45-11:15

Wavelet Phase Harmonic Covariance Models of Stationary Processes

章斯鑫(北京大学)

11:15-11:45

机器学习驱动的可计算建模

张平文(北京大学)

 


04

内容简介


1. 董彬


题目: Bridging Deep Neural Networks and Differential Equations for Image Analysis and Beyond

摘要: Deep learning continues to dominate machine learning and has been successful in computer vision, natural language processing, etc. Its impact has now expanded to many research areas in science and engineering. However, the model design of deep learning still lacks systematic guidance, and most deep models are seriously in lack of transparency and interpretability, thus limiting the application of deep learning in some fields of science and medicine. In this talk, I will show how we can tackle this issue by presenting some of our recent work on bridging numerical differential equation and deep convolutional architecture design. We can interpret some of the popular deep CNNs in terms of numerical (stochastic) differential equations, and propose new deep architectures that can further improve the prediction accuracy of the existing networks in image classification. We also show how to design transparent deep convolutional networks to uncover hidden PDE models from observed dynamical data and to predict the dynamical behavior accurately.


2. 林伟

题目:破解机器学习中的维数灾难:从可辨识性谈起

摘要:近年来,以深度学习为代表的“黑箱”机器学习算法在应用中获得了巨大成功,但缺乏可解释性和严格的理论基础。深度神经网络可被视为一类过参数化模型,与经典统计模型存在很大差别。本报告将从统计模型的可辨识性谈起,结合个人最近工作,简要介绍高维统计中克服维数灾难的主要方法,及其对解释深度神经网络泛化能力的有益启示。


3. 邵嗣烘

题目:面向智能的数学

摘要:人类智能的物质基础是由约1000亿个神经元组成的脑神经网络,但该网络如何产生智能一直以来都是悬而未决的终极问题。最近实验技术的进步让我们有望得到全脑神经元的高清图,进而为我们探寻上述终极问题提供了数据基础和实验技术。此趟探寻之旅的关键就是在脑神经网络上建立合适的数学模型来刻画由物质世界的物理定律演变成思想世界的意识智能的过程。本项目将从两个角度在这个方向上开展探索。一方面,基于量子力学的维格纳函数描述,我们将试图在脑神经网络上运行维格纳量子动力学来计算不同神经元间的量子关联;另一方面,作为更基础的部分,需要发展网络或图上的数学,我们将通过建立和离散问题等价的连续问题发展高效的算法,同时在网络上引入更多现代数学的概念,以丰富我们的武器库。


4. 王涵

题目: Deep Learning for Multiscale Molecular Modeling

摘要: We introduce a series of deep learning based methods for molecular modeling at different scales. We discuss this topic in two aspects: model construction and data generation. In terms of model construction, we introduce the Deep Potential scheme based on a many-body potential and inter-atomic forces generated by a carefully crafted deep neural network trained with ab initio data. We show that the proposed scheme provides an efficient and accurate protocol for a variety of systems, including bulk materials and molecules, and, in particular, for some challenging systems like a high-entropy alloy system. We further show how this scheme is generalized to the context of coarse-graining and free energy computation. In terms of data generation, we present a new active learning approach named Deep Potential Generator (DP-GEN), which is an iterative procedure including exploration, labeling, and training steps. By the example system of Al-Mg alloys, we demonstrate that DP-GEN can generate uniformly accurate potential energy models with a minimum number of labeled data. 


5. 张志华

题目:数学工程——理解机器学习的一种角度

摘要:这个报告提出从“数学工程”的角度来理解机器学习。首先,回顾机器学习发展的几个重要阶段:基于规则的学习、基于统计推理的学习、基于深度表示的学习等。其次,讨论机器学习的四个基础原则:泛化性、稳定性、可计算性和可解释性等,并分析了解决这些问题的一些基本数学手段。



6. 邓柯

题目:基于统计学模型和推断的人工智能方法

摘要:近年来,以深度学习、强化学习为代表的人工智能方法在语音识别、图像处理、文本分析、动态决策等领域取得了巨大的成功,但是在数据分析和实际决策的稳健性、可解释性和可推理性方法还有很大的提升空间。基于统计模型和统计推断的数据分析方法在这些方面恰恰具有一定的优势。这给统计学方法与人工智能研究的结合提供了广阔的舞台。在本次报告中,我们将首先简要回顾我们在统计学习方面的一系列研究成果,以及这些成果与模式识别、信号集成、文本分析等人工智能问题的内在联系。然后,我们将详细介绍我们利用半参数统计模型和贝叶斯方法研究非线性回归分析的一项最新成果。由于经典的CNN框架本质上是一个多层次的非线性回归模型,我们的研究为从统计学角度理解CNN的数学本质并为之建立不确定性推断理论提供了一个可能的方向。


7. 林乾

题目: Towards a statistical understanding of deep neural network

摘要: Explaining the unreasonable efficiencies of deep neural network in various applications is one of the most challenge problems. After observed that the feed forward neural network are multiple index models, we propose a framework to understand the great generalization ability of the local optimal points obtained by stochastic gradient descent. We will first review some recent advances in the study of multiple index models, then build a connection between the rich statistical theories and the feed forward neural network. At the end of the talk, we will provide some numerical evidences of this approach.


8. 史作强

题目:基于流形和偏微分方程的机器学习建模

摘要:在各类机器学习问题中,数据往往具有非常高的维数,但是人们普遍认为数据中蕴含着低维结构。微分流形是描述高维空间中低维结构的重要数学工具。在本项目的研究中,我们将利用微分流形对数据进行建模,同时利用偏微分方程来研究和分析流形的结构,通过优化方法和偏微分方程数值方法来求解流形上的偏微分方程模型,最终揭示出数据所蕴含的信息。


9. 杨超

题目:采用人工神经网络求解偏微分方程初探

摘要:偏微分方程数值求解在流体力学、气候气象、能源材料、航空航天等领域具有广泛应用,相关的高精度快速算法研究具有重要意义。近年来,随着人工智能的快速发展,人工神经网络已经成为一项不可或缺的核心数学工具。由于具有“万能逼近”性质,人工神经网络在逼近高维非线性函数时相对于传统手段具有优势。比如,人工神经网络已经成功用于分子动力学、湍流模拟和随机微分方程等一些复杂问题的求解之中。我们关心的一个问题是,针对经典的偏微分方程,采用人工神经网络求解,相对于传统方法,比如有限元、有限差分、有限体积法等,在精度、灵活性、并行性等方面是否有优势?本报告将介绍我们在这一领域的一些初步探索。


10. 文再文

题目:最优化二阶算法的一些进展

 

摘要:最优化是数据科学重要理论与算法基础之一。我们简要介绍带流形约束优化和复合函数优化二阶最优化算法的一些进展,及其在数据科学和人工智能中的一些典型应用。 


11. 李铁军

题目: 稀有事件、能量景观与深度学习

摘要: 深度学习神经网络已经在各个领域表现出强大的能力,它能有效处理高维空间的函数逼近及预测问题,但是其有效性的原因还是一个公开问题。本报告将从研究者本人的研究领域出发,首先介绍研究者在稀有事件、能量景观及其在若干典型物理、生物问题中的应用,进而联系当前深度学习问题提出自己的一些看法和研究思路。 


12. 明平兵

题目: Approximation Problems in Neural Networks 

摘要: We shall discuss the theoretical approximation problems for the neural network. Both the shallow neural network and the deep neural network will be covered. Some of our recent progress will be reported.


13. 戴彧虹

题目: Training GANs with Centripetal Acceleration

摘要: Training generative adversarial networks (GANs) often suffers from cyclic behaviors of iterates. Based on a simple intuition that the direction of centripetal acceleration of an object moving in uniform circular motion is toward the center of the circle, we present the Simultaneous Centripetal Acceleration  (SCA) method and the Alternating Centripetal Acceleration  (ACA) method to alleviate the cyclic behaviors. Under suitable conditions, gradient descent methods with either SCA or ACA are shown to be linearly convergent for bilinear games. Numerical experiments are conducted by applying ACA to existing gradient-based algorithms in a GAN setup scenario, which demonstrate the superiority of ACA.  This is a joint work with W. Peng, H. Zhang and L. Cheng. 


14. 章斯鑫

题目: Wavelet Phase Harmonic Covariance Models of Stationary Processes

摘要:One can approximate well long-memory Gaussian stationary processes by sparse covariance of wavelet coefficients. However, these covariance moments are not sufficient to capture statistical dependencies of the Fourier coefficients of a non-Gaussian process. We introduce wavelet phase harmonics to capture these dependencies. The phase harmonics multiply the phase of wavelet coefficients by integers. Their frequency transposition properties allow us to capture scale dependencies of wavelet coefficients. We show that these new covariance moments are sufficient to achieve a good approximation and estimation trade-offs to model a wide-range of non-Gaussian stationary processes including texture and turbulent fluids. 


15. 张平文

题目:机器学习驱动的可计算建模

摘要:模型是解决问题的工具,大部分模型是机理的数学表达,也有一些模型跟机理没有关系,我们期待模型是可计算的,最好也是可解释的。本报告提出强、弱机理的概念,这是一个相对的概念。强机理一般具有美感,可解释性强、适用范围广、精确度较高;而弱机理一般只具有部分可解释性、适用范围窄、精确度相对较低。


量子力学、广义相对论等理论是典型的强机理,也是研究自然科学的基础,而由强机理构建的模型有时是不可计算的。社会科学不一定存在强机理,基于数据的模型成为研究社会科学的重要手段,它常常是不可解释的。大量的复杂系统介于两者之间,强机理有可能存在也有可能不存在,弱机理还是很有可能存在的,我们希望基于弱机理建立的模型是可计算的,而且也是可解释的。


如何在特定的应用背景下,归纳总结弱机理,建立可计算、可解释、精度较高的数学模型,是可计算建模的核心任务之一。近年来,由于机器学习的理论和方法飞速发展,使得从数据出发的建模手段在不同行业和领域得到了广泛的应用。在本报告中,我们提出一套方法框架,使得从数据出发,包含由基于强机理建立模型产生的数据,以机器学习的理论和方法为工具,总结并归纳弱机理成为可能。我们以数个实际例子表明,借助弱机理概念,机器学习驱动的可计算建模将极大地提高模型的计算精度、效率以及可解释性,具有非常广泛的应用前景。


05

温馨提示

1、本次活动免费

2、报名的朋友们请确认手机号码无误,我们会在活动开始前一天发送短信提醒。

3、本活动欢迎大家带自己的同事和朋友一起参加,不过为了确保良好的听课环境,请尽可能提前为他们报名。


06

关于主办方


北京智源人工智能研究院(Beijing Academy of Artificial Intelligence,BAAI)是在科技部和北京市委市政府的指导和支持下,由北京市科委和海淀区政府推动成立,依托北京大学、清华大学、中国科学院、百度、小米、字节跳动、美团点评、旷视科技等北京人工智能领域优势单位共建的新型研究机构。


屏幕快照 2019-03-16 下午10.19.43.png



公众号二维码.jpg

关注公众号,第一时间知晓权威活动与信息

联系我们:press@baai.ac.cn



Event Tags

Recent Participation

Perhaps you'd be interested in

Question

All Questions

Haven't posted any questions yet, grab a sofa!

Location...(Map Detail)

OrganizersMore

北京智源人工智能研究院

北京智源人工智能研究院

北京智源人工智能研究院(Beijing Academy of Artificial Intelligence,BAAI)是在科技部和北京市委市政府的指导和支持下,由北京市科委和海淀区政府推动成立,依托北京大学、清华大学、中国科学院、百度、小米、字节跳动、美团点评、旷视科技等北京人工智能领域优势单位共建的新型研究机构。

WeChat Scan

Share to WeChat→

Event Calendar   Jul
M T W Th F Sat Sun
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30 31 1 2 3 4