下载安卓APP箭头
箭头给我发消息

客服QQ:3315713922

大数据力学和数据科学的融合

作者:知社学术圈     来源: 今日头条点击数:1434发布时间: 2020-03-23 20:52:22

标签: 大数据虚拟化物联网

初步尝试:力学和数据科学的融合。大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。换而言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。

【金融特辑】光大银行科技部DBA女神带你从0到1揭秘MGR

当今是数据的时代,数据科学居于显赫地位。力学学者该如何顺应这个时代,而不是置身时代之外,这是一个值得我们思考的问题。投身于时代之中,可能大展宏图;游离于时代之外,必将丧失难逢的机遇。

近期,浙江大学王永副教授和亚利桑那州立大学姜汉卿教授课题组共同发展了一种新的数据驱动方法,该方法通过离散噪声数据直接获得经典物理及力学问题的变分律。这项工作刚发表于Journal of Mechanics and Physics of Solids. 下面就对其基本思路、实现方法做一简单介绍。

数据科学的核心是算法,或者说是优化方法。将数据科学成果应用于指导力学学科的研究已经取得了一些最新的研究成果。例如:贝叶斯机器学习指导下的超材料设计方法1,异质材料塑性特性的数据驱动模型2,以及应用递归神经网络的历史和路径依赖现象预测方法3 等。同时,也有一些工作利用数据来识别物理系统的代数不变量和微分方程,主要包括符号回归和稀疏回归两类方法。

一般而言,在数据科学中,为了能较好地描述已有数据,特别是能给出较准确的预测数据,需要大量数据以作训练和检验之用。那么依据数据所建立的模型如果过于简单,其模型外延性存疑;如果模型过于复杂则会过拟合。这是基于数据且仅基于数据的方法的本质缺陷,所以很难在数据科学的自身范畴内解决。

和数据方法对立的是理论方法。与数据方法追求结果的有效性不同,理论方法追求体系的完美性和结果的可解释性。在这项工作中,作者试图用理论指导的数据方法4(如图1所示),将理论知识与数据相结合,从而不再是盲目的数据分析,而是部分地有目的的数据分析。

大数据力学和数据科学的融合_大数据_虚拟化_物联网_课课家
图1. 数据与理论知识的关系4

具体做法是:将变分原理(知识)与数据方法(数据)相结合,在变分原理的框架下应用数据驱动方法,识别出物理系统的变分律。这种从时域和空间域离散数据出发,识别物理系统变分律的方法,与从物理系统变分律出发,计算时域和空间域离散数据的有限元方法,构成了互逆过程。因此该方法也可被视为“逆有限元方法”5(如图2所示)。


图2. 有限单元方法 vs. 变分框架下的数据驱动方法

图3给出了该方法的具体操作步骤5。


图3. 物理变分律自动化识别的数据驱动方法流程图

概言之,针对具体物理系统,作者在变分框架下设定变分模式(知识I),其中待定的时域积分式则通过数据方法给出(数据)。进一步地,结合量纲匹配原则(知识II),从具有不同物理属性值的同一系统的离散数据出发,应用数据方法可给出显式包含物理属性的积分式表达式。得到了具不同参数值的同一物理系统的时域积分式后,亦可通过符号回归方法,得出显式包含物理属性的积分式。该方法成功识别了自由落体、电场中的相对论粒子、van del Pol系统、Duffing 系统、二自由度耗散系统和连续体系统的变分律5(如图4所示)。文中也讨论了这种方法对数据量的敏感性,对数据质量(即噪声)的鲁棒性。由于该方法在处理时域积分时,可以在满足时域端点变分为零的前提下任意选取变分模式,因此,在不需要大数据量和有一定噪声的情况下,也可以得到令人满意的识别结果。


图4. 数据驱动方法识别的变分律汇总

这项工作以理论指导的数据方法重做了开普勒等科学巨匠做的工作。科学巨匠们以天分和勤奋识别出物理律;而理论指导的数据方法则舍弃了对天分的要求,经由规范的步骤给出了一致的结果。具体到力学变分律,Landau物理学力学卷就是从变分框架开始,而其中的时域积分式则通过伽利略变换从理论上逐步导出6;Feynman在其物理学讲义中则指出,确定此时域积分式需应用试错方法,不断测试直至满意7。这项工作则摈弃了其中最难的部分,在变分框架下以规范的方式解决了问题。

这项工作尝试了将力学原理与数据科学相结合的可能性。作者寄望这个初步的工作能够联接力学和数据科学两个学科:不仅是将数据科学成果用于力学问题研究,同样也可以由力学理论来指导数据科学的研究。

从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。

赞(14)
踩(0)
分享到:
华为认证网络工程师 HCIE直播课视频教程