了解大数据那些事？及其未来发展趋势如何？

　　“大数据”炙手可热，将逐渐成为很多行业企业实现其价值的最佳途径，能够在大数据行业崛起的初期进入这个行业当中，才有机会成为时代的弄潮儿。既然这样，对于大数据，我们需要做些了解。
　　1.大数据是什么？
　　简单的说，大数据指的是通过计算分析大数据集，以揭示与数据某一方面相关的模式或趋势。对于大数据而言，数据量没有一定的要求，只要足够得出可靠的结论即可。

　　M-brain从以下半个“V”方面说明大数据：
　　Volume：能够发现自己想要的信息吗？
　　Value：当你最需要它的时候你能发现它吗？
　　Veracity：处理的是有用信息还是虚假信息？
　　Visualisation：一眼就能看明白吗？它能促进决定吗？
　　Variety：一张图比一千个词更有价值吗？获得的信息均衡吗？
　　Velocity：从信息获得动力，危机和机遇同时存在，未来的前景会如何？
　　Viscosity：是否受到困扰？需要采取进一步行动吗？
　　Virality：它是否创达了一个可以粘贴到演示文档中的信息
　　2.如何能够接触大数据？
　　数据在显示生活中无处不在，而且随着时间的推移会积累的越来越多。通过Google搜索就可以使你几乎能够找到所有的数据库。很多人不知道那些已经存在的数据可供访问和分析，如果你不知道的话，可以在KDNuggest网站上找到可供访问和挖掘的数据列表。如何访问和使用这些数据分析主要分为以下六个方面：
　　数据提取：在进行任何事情之前，都需要使用一些数据。现实中可以通过很多种方式获得所需的数据，但通常的做法通过API调用公司的web服务获得相关的数据。
　　数据存储：大数据面临的主要难题之一是如何存储并管理它，这完全取决于负责数据存储的预算和个人具备的专业知识，因为对于大多数数据管理者来说，都需要具备一些编程方面的知识。良好设计的数据库允许用户安全地、直接地存储和查询数据。
　　数据清洗：不管你喜欢与否，数据收集有各种各样的形式和大小在考虑如何存储数据之前，需要确保它是干净的，且转化成能够被接受的格式。
　　数据挖掘：数据挖掘是从数据库中洞察一些信息的过程，这样做的目的是根据当前持有者的数据提供预测并作出决定。
　　数据分析：一旦收集了所有的数据后，就需要对其仅从相关任务和分析、寻找有趣的模型或趋势。优秀的数据分析师会发现一些不同寻常的东西或其他人之前没有发现的内容。
　　数据可视化：对于数据处理而言，对其最重要的可能是数据可视化。可视化是在完成所有工作后输出一个能被任何人理解的可视化载体，这可以通过使用编程语言（如plot.iy、d3.js）或软件（如tableau）实现。
　　3.与大数据相关的职业
　　随着市场对大数据相关需求的增加，与之相关的职业需求数量也在上升。根据相关机构的统计研究，一个大叔工程师每年的平均工资是150000美元。
　　
　　根据相关研究报道，超过80%的数据科学家有硕士学位，使得他们能拿个从事这个领域的任何工作。
　　4.新兴行业
　　简言之，大数据行业是一个正在快速成长的行业。很多公司和个人都对大数据非常关注，下面是Google趋势图。从下图中可以看出，搜索词“大数据”从2004年到现在的流行增长迅猛。

　　5.如何学习
　　大数据是一个宽泛的主题，因此所需要学习的内容涵盖多方面的知识。想要从事该领域工作的人们需要具备一系列的特定技能。包括以下技能中的一个或多个：
　　掌握一种与数据分析有关的编程语言，比如R、Python、SAS和SQL语言等
　　对数学和统计学有很好的理解与掌握
　　具备网页爬虫经验
　　基本的excel技能
　　一些网站提供在线Coursera、Smpli Learn等。如果你正在寻找一个大学在线课程，可以从master portal 列出的全英国95个数据科学和大数据硕士课程中选择一个适合自己的课程，典型的教学大纲可能包括以下几个方面：
　　与大数据相关的数学知识
　　Python脚本
　　大数据的商业和科学应用
　　大型数据库和非关系型数据库，包括mongodb Cassandra和neo4j
　　数据分析、机器学习和使用weka、R和scikit-learn可视化数据
　　大问题得到优化和探索
　　使用hadoop、spark、hive和mapreduce集群计算
　　未来十年大数据分析的发展趋势
　　未来十年将推动大数据分析行业发展的主要趋势如下：
　　公有云供应商正在扩大其影响力。大数据行业正在围绕三大主要公有云供应商，即AWS、微软azure和Google云平台，大部分软件供应商正在构建可以在这些平台运行的解决方案。除此之外，数据库供应商正在托管的IaaS和PaaS，鼓励客户和合作伙伴开发新的应用程序，并将其迁移到其中的旧应用程序中。因此，纯数据平台、NoSQL供应商在日益被多元化的公有云供应商的大型数据领域逐渐陷入边缘化。
　　共有云有云优于私有云的优势继续扩大，共有云正逐步成为客户群的首先大数据分析平台。这是因为公有云解决方案比内部部署堆栈更为成熟，增加了更丰富的功能，且成本日益成熟。另外，公有云正在增加其应用程序编程接口生态系统，并加快开发管理工具的速度。
　　加速融合以企业实现商业价值。用户开始加快将孤立的大数据资产融合到公有云的速度。而公有云厂商也在优化困扰私有大数据架构的跨业务孤岛。同样重要的是，云数据和本地数据解决方案正融合到集成产品中，旨在降低复杂性并加快实现业务价值。更多的解决方案提供商正在提供标准化的API，以简化访问，加速开发，并在整个大数据解决方案堆栈中实现更全面的管理。
　　大数据初创公司将越来越复杂的AI注意应用程序推向市场。过去几年来，许多新的数据库，流处理和数据初创公司加入到市场中。不少公司也开始通过AI的解决方案加入到市场竞争中。其中大部分创新方案都是为公有云或混合云部署而设计的。
　　新兴解决方案逐渐替代传统方法。越来越多的大数据平台供应商将涌现出融合物联网、区块链和流计算的下一代方法。这些大数据平台主要针对机器学习、深度学习和人工智能管理端到端devops管理进行优化。此外，不少大数据分析平台正在为AI微服务架构设计边缘设备。
　　Hadoop 地位屹立不倒。Hadoop 现今更多的迹象表明，市场将Hadoop视为传统大数据技术，而不是颠覆性业务应用程序的战略平台。不过，Hadoop作为一种成熟技术，被广泛用于用户的IT组织的关键用例，并且在许多组织中仍然有很长的使用寿命。考虑到这一前景，供应商通过在独立开发的硬件和软件组件之间实现更平滑的互操作性，不断提高产品性能。
　　打包的大数据分析应用程序正变得越来越广泛。未来十年，更多服务将自动调整其嵌入式机器学习、深度学习和AI模型，以持续提供最佳业务成果。这些服务将纳入预先训练的模式，客户可以调整和扩展到自己的特定需求。
　　大数据的时代已经来临，并逐渐渗透到各个行业领域之中。对于企业IT来说，建议是开始将更多的大数据分析开发工作迁移到工业云环境中，这也将加速AWS、微软、Google等云厂商提供的快速成熟且低成本产品的能力。