创建Uber的新的极端事件预测模型

　　欢迎各位阅读本篇,人工神经网络(Artificial Neural Networks，简写为ANNs)也简称为神经网络(NNs)或称作连接模型(Connection Model)，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。

　　在Uber系统内，事件预测使我们能够根据预期用户需求来提高我们的服务质量。最终目标是准确地预测出在预定的时间内Uber将会在何处，何时以及收到多少次的乘车请求。

　　一般来说，极端事件——诸如假期、音乐会、恶劣天气和体育赛事等高峰旅行时间，只会提高工作规划预测的重要性。在极端事件期间计算需求时间序列预测(demand time series forecasting)是异常检测(anomaly detection)，最优资源分配(optimal resource allocation)和预算的关键组成部分。

　　但不可忽略的一个事实是，虽然极端事件预测在Uber操作中占有举足轻重的作用，但数据稀疏性使得准确的预测具有很大的挑战性。比如元旦之夜(NYE)，这是Uber最繁忙的日子之一。可是我们只有少数几次元旦之夜的数据可以借鉴参考，而且每个实例可能有不同的用户群组。除了历史数据，极端事件预测还取决于许多外部因素，包括天气、人口增长和诸如驾驶员激励措施这样的市场营销的变化。

　　在现实生活中，在标准R预测包中发现的经典时间序列模型，通常和机器学习方法组合在一起，从而用于特殊事件的预测，然而，这些方法对于Uber来说，既不灵活也不可扩展。

　　在本文中，我们介绍一种将历史数据和外部因素相结合的Uber预测模型，以便更精确地预测极端事件，突出其新架构，以及如何与先前的模型进行比较。

　　创建Uber的新的极端事件预测模型

　　随着时间的推移，我们意识到为了扩大发展规模，我们需要升级我们的预测模型，从而准确预测Uber市场的极端事件。

　　我们最终决定基于长短期记忆网络(LSTM)架构进行时间序列建模，LSTM架构是一种具有端到端建模特征，易于整合外部变量和自动特征提取能力的技术。通过在多个维度上提供大量数据，LSTM方法可以建造模拟复杂的非线性特征交互模型。

　　在选择好架构之后，我们评估了训练模型所需的数据储存，如下所示：

　　在城市中随时间推移而变化的规模性旅行次数是用于训练我们模型的历史数据储存的一部分。 请注意除夕夜期间数据的一个下跌，然后急剧上涨，表示人们在除夕夜期间乘用Uber回家。

　　其实，极端事件的预测是一件很困难的事情，主要原因是它们的不频繁性。为了克服这个数据缺陷，我们决定训练一个单一的、灵活的神经网络来一次性地对许多城市的数据进行建模，从而大大提高了我们的准确性。

　　用神经网络构建新的架构

　　我们的目标是设计一个通用的、端到端的时间序列预测模型，它要具有可扩展性，准确性并且适用于异构时间序列。为了实现这一点，我们使用了数千个时间序列来训练一个多模块神经网络。

　　我们测量和追踪了原始的外部数据，从而构建了如下图所示的神经网络：

　　我们的模型是使用外部变量，包括天气(例如降水、风速和温度预报)和城市级信息(例如在特定地理区域内的任何给定时间进行的旅行，已注册 Uber用户，本地假期或事件)的组合进行训练的。

　　这个原始数据用于我们的训练模型中，来进行包括日志转换，缩放和数据转换这样简单的预处理。

　　用滑动窗口进行训练

　　神经网络中的训练数据集需要滑动窗口X(输入)和Y(输出)来限定常规值(例如输入大小)以及预测范围。使用这两个窗口之后，我们便可以通过最小化损失函数(loss function)，如均方差(Mean Squared Error)来训练神经网络。

　　X和Y窗口都是以单个增量滑动的，从而生成训练数据，如下所示：

　　X和Y滑动窗口是由批次，时间，特征(对于X而言)和预测特征(对于Y而言)组成的。

　　接下来，我们就解释如何使用我们的训练数据来设计自定义的LSTM模型。

　　调整我们的LSTM模型

　　在测试期间，我们确认，与基线模型(其中包括单变量预测和机器学习元素的组合)相比，vanilla LSTM操作并没有表现出优异的性能。vanilla模型在未被训练的领域内不能适应时间序列，这导致在使用单个神经网络时表现并不是很好。

　　使用每一个时间序列要处理百万级指标的方式来训练一个模型是不切实际的：根本没有足够的资源可用，更不用说时间的有限性了。此外，训练单一的vanilla LSTM不会产生竞争性的结果，因为模型不能区分不同的时间序列。虽然时间序列特征和输入可以手动加载到vanilla LSTM模型中，但这种方法是冗长乏味且容易出错的。

　　为了提高我们的准确度，我们在模型中引入了一个自动特征提取模块，如下所示：

　　我们的模型由手动派生的时间序列特征(左)和我们提出的具有自动特征提取模型(右)的LSTM架构组成。

　　我们决定构建一个通过自动特征提取模块提供单一模型、异质性预测的神经网络架构。正如上图所示，模型首先通过自动、基于集成的特征提取来初始化网络;在提取特征向量后，再使用标准集成技术对其进行平均。然后将最后一个向量与输入连接从而产生最终预测。

　　在测试期间，我们能够实现基于LSTM架构的14.09%的对称平均绝对百分比误差(SMAPE)改进，同时比Uber的实时监控和根本原因探索工具Argos中的经典时间序列模型提升25%。

　　随着我们的架构的成功开发、定制和测试，现在正是将该模型投入生产使用的时候了。

　　使用新的预测模型

　　一旦计算了神经网络的权重，它们就可以以任何编程语言形式进行导出和执行。我们当前的途径是首先使用Tensorflow和Keras进行离线训练，然后将生成的权重导出为本地Go代码，如下所示：

　　该描述模型首先进行离线训练，然后导出到目标语言进行本机执行。

　　为了本文最初所设定的目标，我们建立了一个模型，使用的数据主要来自于美国五年间使用Uber来完成假期旅行的时间段，比如，像在圣诞节和元旦来临的七天之前、之间和之后所产生的数据。

　　在一些城市进行预测的期间，我们收集了使用之前的和现在的两种模型所产生的平均SMAPE，如下所示：

　　我们的新预测模型的效果显著优于以前的预测模型。

　　例如，我们的新模式发现，预测最困难的假期之一是圣诞节，这与需求中的最大错误和不确定性相对应。

　　我们描绘了一个城市200天的预期和实际完成旅行的图表，如下所示：

　　一个城市200多天完成旅行次数的模拟，我们对同一数据的预测凸显了我们新模型的准确性

　　我们的测试结果表明，与我们的专有模型相比，现有的模型的预测精度提高了2-18%。

　　虽然神经网络对Uber来说益处颇多，但这种方法并不是“万金油”。根据以往的经验，我们定义了一个三维思维，以此来决定神经网络模型是否适用于你的情况：(a)时间序列数，(b)时间序列长度和(c)时间序列之间的相关性。相对于经典时间序列模型而言，这三个维度增加了神经网络方法进行更准确的预测的可能性。

　　未来预测

　　我们打算继续使用神经网络，为异构时间序列创建一个通用的预测模型，作为一个独立的、端到端模型或更大的自动化预测系统中的构建块。

　　分享：历史

　　1943年，心理学家W·Mcculloch和数理逻辑学家W·Pitts在分析、总结神经元基本特性的基础上首先提出神经元的数学模型。此模型沿用至今，并且直接影响着这一领域研究的进展。因而，他们两人可称为人工神经网络研究的先驱。

　　1945年冯·诺依曼领导的设计小组试制成功存储程序式电子计算机，标志着电子计算机时代的开始。1948年，他在研究工作中比较了人脑结构与存储程序式计算机的根本区别，提出了以简单神经元构成的再生自动机网络结构。但是，由于指令存储式计算机技术的发展非常迅速，迫使他放弃了神经网络研究的新途径，继续投身于指令存储式计算机技术的研究，并在此领域作出了巨大贡献。虽然，冯·诺依曼的名字是与普通计算机联系在一起的，但他也是人工神经网络研究的先驱之一。

　　50年代末，F·Rosenblatt设计制作了“感知机”，它是一种多层的神经网络。

　　这项工作首次把人工神经网络的研究从理论探讨付诸工程实践。当时，世界上许多实验室仿效制作感知机，分别应用于文字识别、声音识别、声纳信号识别以及学习记忆问题的研究。然而，这次人工神经网络的研究高潮未能持续很久，许多人陆续放弃了这方面的研究工作，这是因为当时数字计算机的发展处于全盛时期，许多人误以为数字计算机可以解决人工智能、模式识别、专家系统等方面的一切问题，使感知机的工作得不到重视;

　　其次，当时的电子技术工艺水平比较落后，主要的元件是电子管或晶体管，利用它们制作的神经网络体积庞大，价格昂贵，要制作在规模上与真实的神经网络相似是完全不可能的;

　　另外，在1968年一本名为《感知机》的著作中指出线性感知机功能是有限的，它不能解决如异或这样的基本问题，而且多层网络还不能找到有效的计算方法，这些论点促使大批研究人员对于人工神经网络的前景失去信心。60年代末期，人工神经网络的研究进入了低潮。

　　另外，在60年代初期，Widrow提出了自适应线性元件网络，这是一种连续取值的线性加权求和阈值网络。后来，在此基础上发展了非线性多层自适应网络。当时，这些工作虽未标出神经网络的名称，而实际上就是一种人工神经网络模型。

　　随着人们对感知机兴趣的衰退，神经网络的研究沉寂了相当长的时间。80年代初期，模拟与数字混合的超大规模集成电路制作技术提高到新的水平，完全付诸实用化，此外，数字计算机的发展在若干应用领域遇到困难。

　　这一背景预示，向人工神经网络寻求出路的时机已经成熟。美国的物理学家Hopfield于1982年和1984年在美国科学院院刊上发表了两篇关于人工神经网络研究的论文，引起了巨大的反响。人们重新认识到神经网络的威力以及付诸应用的现实性。随即，一大批学者和研究人员围绕着 Hopfield提出的方法展开了进一步的工作，形成了80年代中期以来人工神经网络的研究热潮。