关于深度学习库TensorFlow Fold分析

　　欢迎各位阅读本篇,Tensor(张量)意味着N维数组，Flow(流)意味着基于数据流图的计算，TensorFlow为张量从图象的一端流动到另一端计算过程。课课家教育平台提醒各位：本篇文章纯干货~因此大家一定要认真阅读本篇文章哦!

　　在大部分的机器学习过程中，用于训练 (training) 和推理 (inference) 的数据都需要进行数据的预处理，通过预处理将不同的输入数据(例如图像)规整至相同尺寸并进行批(batch)存储。这一步使高性能的深度学习库，例如 TensorFlow，可以并行的处理批存储中的所有输入，且以相同的计算图(computation graph)进行处理。批处理(Batching)利用现代 GPU 和多核 CPU 的单指令流多数据流(SIMD)性能来加速运算执行。但是，当输入数据的尺寸和结构变化时会产生诸多问题，例如在自然语言理解中的解析树(parse tree)、源代码中的抽象语法树(abstract syntax tree)、网页的文档树(DOM tree)等。在这些情况下，不同的输入数据需要不同的计算图，通常这些计算图不能够批存储在一起，导致处理器、存储器以及缓存利用率低。

　　今天我们发布 TensorFlow Fold 来解决这些困难。TensorFlow Fold 使得处理不同数据尺寸和结构的深度学习模型更容易实现。不仅如此，TensorFlow Fold 将批处理的优势赋予这些模型，使得这些模型在 CPU 上的运行速度有超过 10 倍的提升，在 GPU 上的运行有超过 100 倍的提升(相比于其他实现方式)。这一提升来源于动态批存储(dynamic batching)技术，在我们的论文中有详细介绍(Deep Learning with Dynamic Computation Graphs)。

　　以上动图演示了动态批处理运行的递归神经网络。带有同样的颜色的运算聚成一批，这使得 TensorFlow 能够更快的运行它们。Embed 运算将单词转换为向量表征。完全连接(fully connected，FC)运算结合词向量，从而形成段落向量表征。网络的输出是一个完整语句的向量表征。尽管上图只演示了一个语句解析树，但在多种任意形状与大小的解析树上，这个网络同样也能运行并实现批处理运算。

　　TensorFlow Fold 库首先会为每个输入建立一个独立的计算图。

　　因为单独的输入可能有不同的大小和结构，计算图也可能是这样。动态批处理自动结合这些图，从而获取在输入内以及整个输入进行批处理机会的优势，并且插入额外的指令在批处理操作之间移动数据。(查看技术细节请参考论文)

　　想要了解更多，也可以查看我们的 github。我们希望 TensorFlow Fold 能够帮助研究人员与从业者在 TensorFlow 中部署动态计算的神经网络。

　　摘要：在包括自然语言处理(解析树)与化学信息学(分子图)在内的多个领域中，在图结构上进行计算的神经网络是解决问题的天然方式。然而，因为每个输入的计算图有不同的形状与大小，所以网络通常不能直接进行批训练或推断。它们也难以部署到流行的深度学习库中，因为这些库是基于静态数据流图的。

　　我们引入了一种称之为动态批处理(Dynamic Batching) 的技术，它不仅能批处理不同输入图(形状也不类似)之间的运算，也能批处理单个输入图内的不同节点。该技术使得我们能够创造静态图、使用流行的库、模仿任意形状与大小的动态计算图。我们进一步展现了组成区块的高层次库，从而简化了创造动态图模型的过程。使用这一库，我们论证了文献中多种模型的简洁且明智的批处理并行实现。

　　分享：

　　1支持算法

　　TensorFlow 表达了高层次的机器学习计算，大幅简化了第一代系统，并且具备更好的灵活性和可延展性。TensorFlow一大亮点是支持异构设备分布式计算，它能够在各个平台上自动运行模型，从电话、单个CPU / GPU到成百上千GPU卡组成的分布式系统。

　　从目前的文档看，TensorFlow支持CNN、RNN和LSTM算法，这都是目前在Image，Speech和NLP最流行的深度神经网络模型。

　　2开源意义

　　这一次的Google开源深度学习系统TensorFlow在很多地方可以应用，如语音识别，自然语言理解，计算机视觉，广告等等。但是，基于以上论点，我们也不能过分夸大TensorFlow这种通用深度学习框架在一个工业界机器学习系统里的作用。在一个完整的工业界语音识别系统里， 除了深度学习算法外，还有很多工作是专业领域相关的算法，以及海量数据收集和工程系统架构的搭建。

　　不过总的来说，这次 谷歌的开源很有意义，尤其是对于中国的很多创业公司来说，他们大都没有能力理解并开发一个与国际同步的深度学习系统，所以TensorFlow会大大降低深度学习在各个行业中的应用难度。

　　中文文档

　　官方文档中文版通过协同翻译，现已上线，国内的爱好者可以通过GitHub协作的方式查看并完善此中文版文档。

　　小结：TensorFlow是将复杂的数据结构传输至人工智能神经网中进行分析和处理过程的系统。当然如果大家还想了解更多方面的详细内容的话呢，不妨关注课课家教育平台，在这个学习知识的天堂中，您肯定会有意想不到的收获的!