大数据的妙用及17年趋势

　　2017年，支持大量结构化和非结构化数据的系统将继续增长。市场需要数据平台来帮助数据管理人员管理和保护大数据，同时允许最终用户进行数据分析。这些系统将逐步成熟，在企业内部的IT系统中更好地运行。所以，我们更要了解大数据！
　　“大数据”是我们天天挂在嘴边的词儿，但是若要让你说一说大数据可以解决哪些现实生活中的实际问题，可能你的大脑里是一片空白。因此，我们采访了20多位大数据厂商和提供大数据解决方案厂商的高管，看看他们到底利用大数据解决了现实生活中的哪些问题?

　　应用在医疗保健方面，如付款、欺诈和滥用等等：模式识别和异常检测可以识别医疗保险公司的欺诈、浪费和滥用。信用卡欺诈检测以毫秒为单位帮助金融服务公司保护他们的客户的安全，同时减少欺诈造成的损失。
　　Telco的嵌入式软件通过HPE出售给运营商：OSS BSS栈用于授权服务驱动到虚拟化(NSV堆栈);不只是应用在电话领域，而是整个服务集;更高的个性化粒度，以提高AdTech空间的点击率;与社交媒体丰富的上下文相关性;实时仪表板为投资公司提供专业的建议;完全满足合规性;IoT数据与实时数据集成。
　　每个药物的名称都是独一无二的：我们可以通过收集Twitter上的积极和消极的看法，确定公众情绪数据，并以此来决定我们是否需要进行更多的医生培训。在全渠道零售业中，更有针对性的向客户推送广告，实现更大的成交率。
　　Elsevier公司Scopus数据库收录了6000万没有标记的研究论文，并对其进行了标记、添加引用。因为这些论文的合理引进，很多作者的 H-Index都发生了改变，有的H-Index甚至上涨了5点;每年帮助美国专利局管理500万件专利申请，每月通过OCR扫描和标记录入200万页的数据。
　　我们的大数据SaaS解决方案允许我们的客户以实时流式方式收集网络流量和性能遥测，然后在仪表板和控制台中显示结果，同时还会监视触发条件以提高警报和报警，可用于识别网络活动或行为的异常模式，例如服务降级，带宽事件和安全事件(如DDoS攻击)等等。 我们还提供一个功能齐全的数据探索控制台，实现无限灵活的数据取证，从而快速准确的排除故障和识别问题的根本原因。最后，我们对网络路由和对等的高级分析可以让客户了解其流量在经过相邻网络时的行为，并进行网络更改以优化成本和服务质量。
　　我们有一个客户端将端点数据连接到智能灯泡，并显示KPI以达到改变人们心理的作用。当他们的NPS大于50，它会亮绿灯;NPS在45到49间，会亮黄色;当NPS小于45，它会亮红色。因为人人都想避开红灯，所以大家会努力让NPS高于50。
　　专注于个性化以改善客户体验(CX)。在现代零售中往往是实体商店与网上商店相结合，所以我们可以通过用户的地理位置、使用设备、购物习惯等等来进行个性化推荐。
　　针对数据驱动决策的自助分析：治理、控制访问适当的数据;投入时间来保护数据;具有基于标记的策略来管理访问;元数据的重要性;数据合理化以识别和消除重复数据。
　　车队管理：管理接近20多万车辆和相关人员，并整合交通和天气数据以预计车辆和包裹的交付时间。零售商可以通过跟踪卡车的到达时间，合理安排人员装卸。据悉，其中有一个客户每年管理280万次交货。
　　消除IT基础架构/集群的数据风险和治理，使IT基础架构成为主流，并利用Lambda创建差异化服务。
　　Stanley工具的医疗部门是利用RFID芯片和营销设备的传感器实现位置跟踪。对于急诊病人来说有一个很重要的CX就是我们在患者徽章和护理人员上使用RFID来跟踪交互时间。这不仅可以查看医患之间的互动，完善医疗记录，还可以在短时间内收集到较多的数据，获得更多细节。
　　银行因为业务的原因可能会确定某些企业是否存在，为了验证合法的商业信息，往往他们会雇佣数百人来验证业务是否合法。为了将企业匹配在一起，我们创建了一个分数工作流平台，对于每百家公司，我们会自动识别35个将他们交给审计师。
　　通过分析买方行为和网络指标，帮助人们更好地了解客户。如广告代理商和社交媒体平台的广泛采用;通过预测性维护和物联网提高产品和服务效率;降低公司理解网络安全威胁向量的风险;帮助安全供应商了解客户最大的责任在哪里;跟踪帕金森患者的震颤，查看药物是否有效;同步智能手机跟踪震颤;与医院合作，使用预测分析预测医疗事件。
　　全渠道客户分析与点击流、移动端、应用程序和实体数据混合在一个单一的数据集。实现物联网的运营分析;减少欺诈;实现数据驱动的产品和服务，如CRM和社交媒体。
　　基于语音的解决方案：之前客户服务主要依靠文本和聊天，但是我们能不能创建一种更智能的交互式解决方案?IT运营创新运行云自动化中心使用数据来分析和预测系统的健康状况。物流和车队管理与第三方系统集成，缩短航线。
　　我们帮助一个用户将电子邮件地址的搜索时间从两分钟缩短到千分之一秒，使得CSR更高效，帮助更多的客户。之前我们有一个售卖游泳衣的客户，他们一直认为他们的网站与其他竞争网站的目标受众是一致的。我们通过数据分析，向他们展示了他们瞄准的受众和实际购买产品的人有很大的出入，并使得他们重新瞄准买家，更有效的进行推荐。
　　即时预测市场趋势和客户需求：预测市场价格波动将如何影响生产计划;即时查看整个供应链的需求或供应变化;监控和分析生产过程中的所有偏差和质量问题;为每个客户提供正确的优惠和服务水平;提供一个实时显示销售变化的窗口;了解客户和潜在客户的评价;预测现金流以实时管理借款风险和收款期限。
　　知道它的发展趋势吗？
　　1、数据处理变得更加快速，数据也变得更加易于使用
　　选项扩展将加速Hadoop
　　当然，你可以在Hadoop上执行机器学习和情绪分析，但人们常常会问的第一个问题是：交互式SQL（结构化查询语言，一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统）究竟有多快？毕竟，SQL相当于企业用户的“导管”——他们希望使用Hadoop数据来更快的获得可复用的BI仪表盘（一种向企业展示度量信息和关键业务指标即KPI现状的数据虚拟化工具），或者是进行一些探索性分析。
　　这种对速度的需求促使用户采用访问速度更快和执行效率更高的数据库，如Exasol、MemSQL，或者是类似于Kudu这种基于Hadoop的商店，当然还需要能够更快查询数据的技术。诸如SQL-on-Hadoop引擎（Apache Impala，Hive LLAP，Presto，Phoenix和Drill）和OLAP-on-Hadoop技术（AtScale，Jethro Data和Kyvos Insights）这样的数据查询加速器将进一步模糊传统数据库与大数据世界的边界。
　　2、大数据不再只是Hadoop
　　专门基于Hadoop开发的工具已过时
　　在过去的几年中，随着大数据浪潮来袭，数种为了满足Hadoop分析需求的技术兴起。但是，身处复杂，异构环境中的企业不再希望仅为一个数据源（Hadoop）采用孤立的BI访问点。他们需要的答案被埋没在一大堆数据源中，从记录系统到云端，再到来自Hadoop和非Hadoop源的结构化和非结构化数据。（顺便说一句，甚至连关系型数据库也正在为大数据趋势做准备。例如，SQL Server2016于近日添加了JSON支持）。
　　在2017年，客户将会需要对所有数据都进行分析。不依赖于数据源的平台将会茁壮成长，而专为Hadoop而设计的平台和未能跨应用部署的平台将被弃用。Platfora的退出便是这一趋势的预示。

　　随着对不同类型、不同体量数据的结构化存储、批量处理以及价值挖掘需求的增多，2016年注定是大数据里程碑式的一年。

　　1、数据处理变得更加快速，数据也变得更加易于使用
　　选项扩展将加速Hadoop
　　当然，你可以在Hadoop上执行机器学习和情绪分析，但人们常常会问的第一个问题是：交互式SQL（结构化查询语言，一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统）究竟有多快？毕竟，SQL相当于企业用户的“导管”——他们希望使用Hadoop数据来更快的获得可复用的BI仪表盘（一种向企业展示度量信息和关键业务指标即KPI现状的数据虚拟化工具），或者是进行一些探索性分析。
　　这种对速度的需求促使用户采用访问速度更快和执行效率更高的数据库，如Exasol、MemSQL，或者是类似于Kudu这种基于Hadoop的商店，当然还需要能够更快查询数据的技术。诸如SQL-on-Hadoop引擎（Apache Impala，Hive LLAP，Presto，Phoenix和Drill）和OLAP-on-Hadoop技术（AtScale，Jethro Data和Kyvos Insights）这样的数据查询加速器将进一步模糊传统数据库与大数据世界的边界。
　　2、大数据不再只是Hadoop
　　专门基于Hadoop开发的工具已过时
　　在过去的几年中，随着大数据浪潮来袭，数种为了满足Hadoop分析需求的技术兴起。但是，身处复杂，异构环境中的企业不再希望仅为一个数据源（Hadoop）采用孤立的BI访问点。他们需要的答案被埋没在一大堆数据源中，从记录系统到云端，再到来自Hadoop和非Hadoop源的结构化和非结构化数据。（顺便说一句，甚至连关系型数据库也正在为大数据趋势做准备。例如，SQL Server2016于近日添加了JSON支持）。
　　在2017年，客户将会需要对所有数据都进行分析。不依赖于数据源的平台将会茁壮成长，而专为Hadoop而设计的平台和未能跨应用部署的平台将被弃用。Platfora的退出便是这一趋势的预示。
　　3、相关组织将利用数据湖(DataLake)来实现价值
　　数据湖就像一个人造水库。首先你要建造一个水坝（构建一个集群），然后填满水（数据）。一旦建立了湖泊，你将开始因为各种目的而使用这些水资源（数据），如发电，饮用以及各种消遣（预测分析，机器学习，网络安全等）。
　　而今，保有数据湖里的数据已经变成了一种为了保留而保留的行为。在2017年，这将随着Hadoop业务的收紧而改变。各个组织要求可重复的并且敏捷地使用数据湖，以便更快地获得响应。在确定对人事、数据和基础设施的相应投资之前，企业会更加慎重的考虑业务成果。这将促进业务和IT之间的强力耦合。而自助服务平台作为分析大数据资产的工具将获得更深入的认可。
　　另外，公司还将关注业务驱动型应用，避免数据湖陷入困境。在2017年，企业机构将从“构建未来”的数据湖应用转向业务驱动型数据应用。当今世界需要分析和操作能力去触及客户、处理索赔并且连接到个体的不同设备。
　　举例而言，任何商业网站需要提供实时的个性化推荐和价格查询。医疗健康型企业必须处理有效的索赔并且运用分析运营系统来防止索赔欺诈。媒体公司需要通过机顶盒提供个性化的内容。汽车制造商和汽车共享公司则要交互运营其车辆和司机。这些案例的实施交付均需要由一个敏捷平台来实现，同时提供分析和运营的处理，跨越后台分析和前台运营进行整合，提升了商业价值。

　　4、成熟的架构拒绝通用型框架
　　Hadoop不再只是一个用于数据科学用例的批处理平台。它已经成为一种专为特殊分析而架设的多用途分析引擎，甚至被用于日常工作负载的操作报告——传统上这项任务是由数据仓库（大量数据提取和分析的工具）来处理的。
　　互联网普及使得网民的行为更加多元化，通过互联网产生的数据发展更加迅猛，更具代表性。互联网世界中的商品信息、社交媒体中的图片、文本信息以及视频网站的视频信息，互联网世界中的人与人交互信息、位置信息等，都已经成为大数据的最重要也是增长最快的来源。大家都了解到了吗！更多内容就在课课家哟~