大数据技术&机器学习分析

　　欢迎各位阅读本篇,大数据(Big Data)又称为巨量资料，指需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。本篇文章讲述了大数据技术&机器学习分析，课课家教育平台提醒各位：本篇文章纯干货~因此大家一定要认真阅读本篇文章哦!

　　Ovum(咨询顾问)的分析师Tony Baer分享了他对于云端机器学习工具，物联网驱动流分析和Hadoop的一些观点。这些技术在2016年备受人们关注，2017年这种趋势将会延续。

　　技术的实际应用前景才是推动技术进步的根本，特别是今年的一些主流技术。Ovum分析师Tony Baer深知这一点，当他在2017年的Ovum report预测大数据发展趋势时，主要依据就是今年的技术应用情况。

　　Baer得出了如下结论，机器学习项目，物联网(IoT)和实时流媒体分析，这些技术在2016获得了广泛关注，在未来一年，他们依然将引领技术趋势。在一次采访中，他深入讨论了这些话题，他认为，基于云技术的Hadoop系统的发展，特别是在流分析领域，用例和技术可能是会形成一个完美的集合，引领“技术风暴”，他说。

　　您认为，机器学习将是2017大数据分析的最大搅局者。不过，机器学习项目是否仅限于那些大型公司，其使用范围是否更为广泛?

　　Tony Baer：它的应用范围很广。许多情况下，企业和消费者已经开始使用内嵌机器学习的服务了，他们只是没有意识到而已。但是，数据科学家能够自主编写并使用机器学习算法，能够进行内部开发的企业数量是有限的，所以机器学习在企业中的发展依然是受限的。现在已经可有用于机器学习的算法库，所以你不必再从头编写算法。

　　最近出现了新兴的协作工具，旨在建立数据科学家和数据工程师或者业务人员之间的联系。你可能看到使用工具的企业数量日渐增多，但这些也仅限于在那些拥有大量资源的企业，这类企业一般都是使用Hadoop的先锋。

　　有时似乎人们没有意识到机器学习项目需要一个学习阶段，这可能是最费时的，充满了试验和错误的阶段。

　　Baer：对的。几年前，数据科学是热门话题。每个人都希望被称为“数据科学家”，并希望把这个职位印在他们的名片上。现在，新兴的东西是机器学习，所有数据科学家都想和它搭上关系。

　　他们可能忘记了重要一步：你必须首先学习数据科学。这不是机器学习的同义词。它是科学的同义词，因为你需要不断地测试假设。它需要用科学方法分析阻碍并解决问题。它需要很大的耐心和毅力。

　　机器学习的频谱范围涉及很广，从单终端异常检测集群到集群深层的深度学习和认知(计算)都有机器学习的应用。但是，在继续使用机器学习之前，你需要掌握数据科学，包括高级模式识别和许多不同方法。

　　短期内，机器学习主要通过打包到应用程序来产生影响，如供应链优化，智能电网，威胁和欺诈检测软件等。它将嵌入这些应用程序。机器学习的主要影响力依然是通过包含它的应用产生的。

　　你提到的机器学习的用户类似于Hadoop的用户。那项技术花了一段时间才能真正推广开来。现在，似乎成了云的束缚。你认为Hadoop迁移到云中的速度会很快吗?

　　Baer： 我所谓的Hadoop是一个多元的操作系统。这是关于混合和匹配的问题，这使得它很难被解释，并可能对市场造成一定程度的混淆。现在在云中，它甚至更难解释。因为当你进入Amazon云，你可能不会使用到Hadoop分布式文件系统，而会使用S3(即Amazon Simple Storage Service)。

　　Hadoop不是为云而生的，但它与云的结合将是不可避免的趋势。大约一年前，15%到20%的新工作负载将流向云端。现在，这个比例已经变成三分之一。我预计，未来12到18个月内，这个数字将达到50%。

　　数据流与复杂事件处理(CEP)具有相似性的，重点在于“复杂”。我们这些天在处理不同的事件，大多事件是类似于手机活动和点击流。但这样的情况真的有所不同吗?

　　Baer：复杂的事件处理是问题的一个解决方案。除了一些专门的案例，比如金融服务，其中的边缘处理是他们工作一部分，也是他们竞争的一部分。但是现在，我们有了较为完美的解决方案。

　　这是因为基础设施变得更加方便和廉价，特别是随着云的出现。在有CEP的情况下，当你需要处理的事件不是很多时，意义并不大。但是，当你可以像我们现在这样扩大基础设施的规模时，它就称为了一个可行的解决方案。物联网正在这么做。

　　使用物联网并取得实际的价值，这种用例确实存在。物联网正在增加实时流分析的必要性。例如包括任何事物的物理运动，无论是供应链，网络优化或智能城市等。或者例如，在工作领域的资产管理和车队管理。所有这些用例是有形的，实际上都具有明确的商业价值。

　　我们有更多的智能设备，这些设备在产生真正的信息。就是这些信息在驱动着流分析，这是开源技术和专有技术的混合体。CEP的处理十分昂贵，有一些工具是专有的，需要非常专业的技能。有了开源技术，学习和实验的障碍就减少了。当所有这些事情正在发生时，那将是一场完美的“技术风暴”。

　　数据价值

　　众所周知，企业数据本身就蕴藏着价值，但是将有用的数据与没有价值的数据进行区分看起来可能是一个棘手的问题。

　　显然，您所掌握的人员情况、工资表和客户记录对于企业的运转至关重要，但是其他数据也拥有转化为价值的力量。一段记录人们如何在您的商店浏览购物的视频、人们在购买您的服务前后的所作所为、如何通过社交网络联系您的客户、是什么吸引合作伙伴加盟、客户如何付款以及供应商喜欢的收款方式……所有这些场景都提供了很多指向，将它们抽丝剥茧，透过特殊的棱镜观察，将其与其他数据集对照，或者以与众不同的方式分析解剖，就能让您的行事方式发生天翻地覆的转变。

　　但是屡见不鲜的是，很多公司仍然只是将信息简单堆在一起，仅将其当作为满足公司治理规则而必须要保存的信息加以处理，而不是将它们作为战略转变的工具。

　　毕竟，数据和人员是业务部门仅有的两笔无法被竞争对手复制的财富。在善用的人手中，好的数据是所有管理决策的基础，带来的是对客户的深入了解和竞争优势。数据是业务部门的生命线，必须让数据在决策和行动时无缝且安全地流到人们手中。

　　大数据应用所以，数据应该随时为决策提供依据。看看在政府公开道路和公共交通的使用信息这样看起来甚至有点晦涩的数据时会发生什么：这些数据来源为一些私营公司提供了巨大的价值，这些公司能够善用这些数据，创造满足潜在需求的新产品和服务。

　　企业需要向创造和取得数据方面的投入索取回报。有效管理来自新旧来源的数据以及获取能够破解庞大数据集含义的工具只是等式的一部分，但是这种挑战不容低估。产生的数据在数量上持续膨胀;音频、视频和图像等富媒体需要新的方法来发现;电子邮件、IM、tweet和社交网络等合作和交流系统以非结构化文本的形式保存数据，必须用一种智能的方式来解读。

　　但是，应该将这种复杂性看成是一种机会而不是问题。处理方法正确时，产生的数据越多，结果就会越成熟可靠。传感器、GPS系统和社交数据的新世界将带来转变运营的惊人新视角和机会。请不要错过。

　　有些人会说，数据中蕴含的价值只能由专业人员来解读。但是泽字节经济并不只是数据科学家和高级开发员的天下。

　　数据的价值在于将正确的信息在正确的时间交付到正确的人手中。未来将属于那些能够驾驭所拥有数据的公司，这些数据与公司自身的业务和客户相关，通过对数据的利用，发现新的洞见，帮助他们找出竞争优势。

　　小结：大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理(MPP)数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。不妨关注课课家教育平台，在这个学习知识的天堂中，您肯定会有意想不到的收获的!