教你怎么大数据易于管理

　　大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。今天就来和探讨如何使大数据易于管理。

     现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。

　　有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”。价值含量、挖掘成本比数量更为重要。对于很多行业而言，如何利用这些大规模数据是赢得竞争的关键。

　　大数据分析的困境

　　不过，“大数据”在经济发展中的巨大意义并不代表其能取代一切对于社会问题的理性思考，科学发展的逻辑不能被湮没在海量数据中。著名经济学家路德维希·冯·米塞斯曾提醒过：“就今日言，有很多人忙碌于资料之无益累积，以致对问题之说明与解决，丧失了其对特殊的经济意义的了解。”这确实是需要警惕的。

　　然而，分析大数据集可能会产生问题。首先，大数据是大规模的，有时太大，不能通过常用的分析工具有效地处理。

　　麻省理工学院Andrew and Erna Viterbi电气工程与计算机科学院的教授、人工智能实验室(CSAIL)的主任Daniela Rus、博士后Mikhail Volkov和曾在Rus科研小组的博士后、以色列海法大学机器人大数据实验室主任Dan Feldman针对这个问题，提出了一个解决方案，将大数据变成可管理的数据。小编整理并分享出来，以飨读者。

　　大数据困境破解之道

　　处理大数据的一种方法是缩减它。如果您可以确定大数据的一个子集，用于保留大数据最重要的数学关系，那么就可以进行有用的分析，不然对整个大数据集来说将是非常耗时，不实用。

　　大数据应用

　　洛杉矶警察局和加利福尼亚大学合作利用大数据预测犯罪的发生。

　　google流感趋势(GoogleFluTrends)利用搜索关键词预测禽流感的散布。

　　统计学家内特.西尔弗(NateSilver)利用大数据预测2012美国选举结果。

　　麻省理工学院利用手机定位数据和交通数据建立城市规划。

　　梅西百货的实时定价机制。根据需求和库存的情况，该公司基于SAS的系统对多达7300万种货品进行实时调价。[10]

　　医疗行业早就遇到了海量数据和非结构化数据的挑战，而近年来很多国家都在积极推进医疗信息化发展，这使得很多医疗机构有资金来做大数据分析。[11]

　　大数据意义

　　现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。[12]阿里巴巴创办人马云来台演讲中就提到，未来的时代将不是IT时代，而是DT的时代，DT就是DataTechnology数据科技，显示大数据对于阿里巴巴集团来说举足轻重。[13]

　　有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”。价值含量、挖掘成本比数量更为重要。对于很多行业而言，如何利用这些大规模数据是赢得竞争的关键。
　　大数据的价值体现在以下几个方面：

　　1)对大量消费者提供产品或服务的企业可以利用大数据进行精准营销

　　2)做小而美模式的中小微企业可以利用大数据做服务转型

　　3)面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值

　　不过，“大数据”在经济发展中的巨大意义并不代表其能取代一切对于社会问题的理性思考，科学发展的逻辑不能被湮没在海量数据中。著名经济学家路德维希·冯·米塞斯曾提醒过：“就今日言，有很多人忙碌于资料之无益累积，以致对问题之说明与解决，丧失了其对特殊的经济意义的了解。”这确实是需要警惕的。

　　在这个快速发展的智能硬件时代，困扰应用开发者的一个重要问题就是如何在功率、覆盖范围、传输速率和成本之间找到那个微妙的平衡点。企业组织利用相关数据和分析可以帮助它们降低成本、提高效率、开发新产品、做出更明智的业务决策等等。例如，通过结合大数据和高性能的分析，下面这些对企业有益的情况都可能会发生:

　　1）及时解析故障、问题和缺陷的根源，每年可能为企业节省数十亿美元。

　　2）为成千上万的快递车辆规划实时交通路线，躲避拥堵。

　　3）分析所有SKU，以利润最大化为目标来定价和清理库存。

　　4）根据客户的购买习惯，为其推送他可能感兴趣的优惠信息。

　　5）从大量客户中快速识别出金牌客户。

　　6）使用点击流分析和数据挖掘来规避欺诈行为。

　　然而，用于提取这样的“核心集”的方法根据应用程序而有所不同。研究人员提出了一种提取可由大量常用数据分析工具使用的核心集的新技术，适合自然语言处理、推荐系统、天气预报、金融和神经科学等。

　　“这些都是在许多应用程序中使用的非常通用的算法，”Danilla Rus表示，“它们是这么多问题的基础。通过为这些工具确定出一个巨大矩阵的核心集，人们就可以进行以前根本不可能的计算。”

　　例如，在他们的论文中，研究人员将他们的技术应用于矩阵(也就是表格)，它将英语版维基百科上的每篇文章映射到网站上出现的每一个单词。这个矩阵，将有140万篇文章和440万列的单词。

　　维基百科的这个矩阵实在太大了，以至于不能使用低秩近似来进行分析，该算法可以识别自由格式文本的主题。但是一旦提取出来核心集，研究人员就能够使用低秩近似来提取维基百科上最常见的100个主题的单词集群。例如，包含“服装”、“新娘”、“伴娘”和“婚礼”的集群表示婚礼的主题;包含“枪”、“开枪”、“卡住”、“手枪”和“枪击”的集群显示指定了枪击事件的主题。

　　让大数据可管理的思路

　　研究人员的核心集新技术对于一系列工具非常有用，如奇异值分解、主成分分析、潜在语义分析。但它们共同之处是缩减：它们采用具有大量的变量数据集，并且用更少的变量找到它们的近似值。

　　在这里，这些工具的作用与核心集类似。但是，核心集是特定应用程序，而dimension-reduction工具是通用的。这种共性使它们的密集型计算比核心集更多：对于大型数据集的实际应用来说计算量过于庞大。

　　研究人员认为，他们的技术可以用于用例如从数百万变量中嗅出数据集：例如根据他们使用的词语对维基百科页面的描述——只有几千个单词。在这一点上，诸如广泛使用的主成分分析技术可以将变量的数量减少到几百个，甚至更少。

　　维基百科矩阵有440万列，每列代表一个不同的单词。维基百科上的任何文章只会使用几千个不同的单词。所以在任何给定的行：这意味着在任何一篇文章，只有几千个矩阵插槽中的440万将会有内容。在稀疏矩阵中，大多数值为零。

　　至关重要的是，这项新技术保留了稀疏性，这使得它的核心集更容易进行计算处理。如果它们涉及零的大量乘法和加法，计算将会变得更容易。

　　新的核心集技术使用所谓的合并和归约过程，它开始取数据集中的20个数据点，并选择其中10个作为满20个数据点的最具代表性的点。然后它对另外20个数据点执行相同的过程，合并这两个所减少的10个数据点，形成新的20个数据点的数据集，然后它进行另一个缩减的过程，从20个下降到10个。

　　即使该过程检查巨大数据集中的每个数据点，因为它每次只处理数据点的小集合，它仍然保持了很高的计算效率。在他们的论文中，研究人员证明，对于涉及一系列通用缩减工具的应用，他们提供的缩减方法提供了对完整数据集非常好的近似结果。

　　该方法取决于数据的几何解释，涉及称为超球面的概念，它是圆的多维模拟。任何一个多变量数据可以看做是多维空间中的一个点。以同样的方式，数字对(1,1)定义二维空间中的点：在X轴上的点和Y轴上的点——就是维基百科表中的一行，其440万个数字，定义了一个440万个圆的空间上每一个点。

　　研究人员的缩减算法从找到数据点子集的平均值开始——比如说20个，那就要进行缩减。这也定义了高维空间中的点，称之为初始点。然后将20个数据点中的每一个“投影”到以初始点为中心的超球面上。也就是说，算法在数据点方向上找到超球面上的唯一点。

　　该算法选择超球面上的20个数据投影之一。然后选择最远离第一个的超球面上的投影。它找到两者之间的中点，然后选择距离中点最远的数据投影;然后它再找到这两点之间的中点，并选择距离它最远的数据投影;如此循环。

　　研究人员能够证明通过这种方法选择的中点将非常快地收敛在超球面的中心。该方法将快速选择其平均值接近20个初始点的点的子集。这使得它们特别合适核心集中的候选者。

     总结：大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

更多详细内容尽在课课家哦！