机器学习发展趋势总览

　　欢迎各位阅读本篇,专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。本篇文章讲述了机器学习发展趋势总览，课课家教育平台提醒各位：本篇文章纯干货~因此大家一定要认真阅读本篇文章哦!

　　你用过 Google Trends 吗?相当酷，输入一些关键词，然后能看到它们在谷歌中的搜索趋势变化。刚好 arxiv-sanity 论文数据库在过去 5 年内有 28303 份机器学习相关论文，所以我想，为什么不做一些类似的事情，来看看机器学习研究在过去 5 年是如何进展的?结果相当有趣，所以我想我该写篇文章分享一下。

　　(机器学习是一个大领域。本文偏重的领域是深度学习——这是我最熟悉的一个分区。)

　　arxiv 奇点

　　让我们首先看下，在 arxiv-sanity 上( cs.AI、cs.LG、cs.CV、cs.CL、cs.NE、stat.ML)的论文提交总数，见下图：

　　是的， 2017 年 3 月这些领域差不多提交了 2000 份论文。峰值可能与会议(比如 NIPS/ICML)的截止日期有关。注意，这里并不能说明该领域本身论文数量规模，因为并不是所有人都会把论文提交到 arxiv ，而且研究人员对一部分论文的分类会随时间变化。但值得指出的是，这些领域有大量的论文。

　　把论文的总数作为分母。我们现在可以看下这部分论文包含了哪些我们感兴趣的特定关键词。

　　深度学习框架

　　先预热下，让我们看看正在使用的那些深度学习框架。计算这个值时，在整篇论文中任何地方(包括提到的参考书目书名等)提到深度学习框架的这部分论文都被记录在内。对上传于 2017 年 3 月的这部分论文，我们得到如下结果：

　　% of papers framework has been around for (months)

　　------------------------------------------------------------

　　9.1 tensorflow 16

　　7.1 caffe 37

　　4.6 theano 54

　　3.3 torch 37

　　2.5 keras 19

　　1.7 matconvnet 26

　　1.2 lasagne 23

　　0.5 chainer 16

　　0.3 mxnet 17

　　0.3 cntk 13

　　0.2 pytorch 1

　　0.1 deeplearning4j 14

　　也就是说，2017 年 3 月提交的论文中有 10% 提到了 TensorFlow 。当然，不是每篇论文都声明了它使用的框架，但如果我们假定那部分声明了该框架的论文，对框架使用有一个比较固定概率的话，那么大约 40% 的社区目前正在使用 TensorFlow (甚至更多，如果你把带 TF 后端的 Keras 也算上)。下图可以看出一些比较流行的框架是如何随时间演变的：

　　我们可以看到 Theano 已经出现一段时间了，但是它的增长几乎停滞。Caffe 在 2014 年急速猛增，但是在过去几个月被 TensorFlow 赶超。Torch(以及最近的 PyTorch)也在攀升，虽缓慢但稳定。接下来几个月的发展会很有趣——我个人的猜测是 Caffe/Theano 会继续有一个缓慢的下降，以及由于 PyTorch 的出现， TF 的增长会稍微变得缓慢。

　　ConvNet 模型

　　就乐趣而言，我们何不来看下常见的 ConvNet 模型?这里，我们清楚地看到 ResNets 有一个巨大的攀升：2017 年 3 月它们出现在 9% 的论文中：

　　还有，在 InceptionNet 之前谁在讨论 inception?我对此表示好奇。

　　优化算法

　　在优化算法方面，看起来 Adam 连连获胜，2017 年 3 月 23% 的论文中都出现了它!实际的使用比例很难估测;它可能高于 23%，因为一些论文没有声明优化算法，而且很大一部分论文可能甚至没有优化任何神经网络。然后它还可能就是 5% 左右，因为 Adam 在 2014 年 12 月才发布，并且可能与论文作者名字冲突。

　　研究者们

　　我还好奇深度学习领域重要人物的提及情况，因此作出下图(这有点类似于论文引用量计数，但是：① 它比论文的“0/1”计数更稳定， ② 对总范围进行了标准化。

　　值得注意的几点：提交的论文中有 35% 提到了“bengio”，这里有两个 Bengio : Samy Bengio 和 Yoshua Bengio，我们做了合并。 Geoff Hinton 出现的比例超过 30%!看起来很高。

　　热点或非热点关键词

　　最后，我们不去对关键词做手动分类，而是看一下热点(hot)或者非热点的关键词。

　　Top hot keywords 排前列的热点关键词

　　对此有多种定义，但是这次尝试中我查看了所有论文中每个 unigram(单个 word )或 bigram ( 双 word )，并记录了相比于去年最大使用量的比例。高于这个比例，就是去年有较大潜力但是今年表现出更高的相对频率。热点关键词排名结果如下：

　　8.17394726486 resnet

　　6.76767676768 tensorflow

　　5.21818181818 gans

　　5.0098386462 residualnetworks

　　4.34787878788 adam

　　2.95181818182 batchnormalization

　　2.61663993305 fcn

　　2.47812783318 vgg16

　　2.03636363636 styletransfer

　　1.99958217686 gated

　　1.99057177616 deepreinforcement

　　1.98428686543 lstm

　　1.93700787402 nmt

　　1.90606060606 inception

　　1.8962962963 siamese

　　1.88976377953 characterlevel

　　1.87533998187 regionproposal

　　1.81670721817 distillation

　　1.81400378481 treesearch

　　1.78578069795 torch

　　1.77685950413 policygradient

　　1.77370153867 encoderdecoder

　　1.74685427385 gru

　　1.72430399325 word2vec

　　1.71884293052 reluactivation

　　1.71459655485 visualquestion

　　1.70471560525 imagegeneration

　　举例来说， ResNet 的比例是 8.17，因为 1 年前( 2016 年 3 月——最大使用量的月份)它在所有提交的论文中出现的比例是 1.044% ，而上月( 2017 年 3 月)是 8.53% ， 8.53 / 1.044 ~= 8.17。

　　所以可以从上图看到，过去一年盛行的核心创新是： 1) ResNets、2) GANs,、3) Adam、4) BatchNorm。 在研究中多使用这些模型。

　　在研究兴趣方面，我们看到的是 1)风格转换、2) 深度强化学习、3) 神经网络机器翻译 (“nmt”)，以及 4) 图像生成 。

　　在架构上，热点使用是 1) 全卷机网络 ( FCN )、2) LSTMs / GRUs 、3) Siamese 网络，以及 4) 编码器-解码器网络。

　　非热词

　　在相反的方面呢?有哪些词过去一年有较少的提交，但是历史上较高。以下列举了一些：

　　0.0462375339982 fractal

　　0.112222705524 learningbayesian

　　0.123531424661 ibp

　　0.138351983723 textureanalysis

　　0.152810895084 bayesiannetwork

　　0.170535340862 differentialevolution

　　0.227932960894 wavelettransform

　　0.24482875551 dirichletprocess

　　我不确定 “fractal” 指什么，但是一般来说看起来像是贝叶斯非参数受到攻击。

　　结论

　　现在提交的论文主题应该是围绕全卷积编码器解码器 BatchNorm ResNet GAN( Fully Convolutional Encoder Decoder BatchNorm ResNet GAN )应用于风格转换，用 Adam 进行优化。这听起来似乎没那么不着边际。

　　分享：机器学习发展史：

　　机器学习是人工智能研究较为年轻的分支，它的发展过程大体上可分为4个时期。

　　第一阶段是在50年代中叶到60年代中叶，属于热烈时期。

　　第二阶段是在60年代中叶至70年代中叶，被称为机器学习的冷静时期。

　　第三阶段是从70年代中叶至80年代中叶，称为复兴时期。

　　机器学习的最新阶段始于1986年。

　　机器学习进入新阶段的重要表现在下列诸方面：

　　(1) 机器学习已成为新的边缘学科并在高校形成一门课程。它综合应用心理学、生物学和神经生理学以及数学、自动化和计算机科学形成机器学习理论基础。

　　(2) 结合各种学习方法，取长补短的多种形式的集成学习系统研究正在兴起。特别是连接学习符号学习的耦合可以更好地解决连续性信号处理中知识与技能的获取与求精问题而受到重视。

　　(3) 机器学习与人工智能各种基础问题的统一性观点正在形成。例如学习与问题求解结合进行、知识表达便于学习的观点产生了通用智能系统SOAR的组块学习。类比学习与问题求解结合的基于案例方法已成为经验学习的重要方向。

　　(4) 各种学习方法的应用范围不断扩大，一部分已形成商品。归纳学习的知识获取工具已在诊断分类型专家系统中广泛使用。连接学习在声图文识别中占优势。分析学习已用于设计综合型专家系统。遗传算法与强化学习在工程控制中有较好的应用前景。与符号系统耦合的神经网络连接学习将在企业的智能管理与智能机器人运动规划中发挥作用。

　　(5) 与机器学习有关的学术活动空前活跃。国际上除每年一次的机器学习研讨会外，还有计算机学习理论会议以及遗传算法会议。

　　小结：它是人工智能的核心，是使计算机具有智能的根本途径。它的应用已遍及人工智能的各个分支，如专家系统、自动推理、自然语言理解、模式识别、计算机视觉、智能机器人等领域。其实大家私下还得多多自学，当然如果大家还想了解更多方面的详细内容的话呢，不妨关注课课家教育平台，在这个学习知识的天堂中，您肯定会有意想不到的收获的!