分布式文件系统HDFS设计的理解

作者：课课家来源： www.kokojia.com点击数：764发布时间： 2015-11-02 12:18:24

恍惚恍惚又来到了文章的学习，想必大家又有很多问题吧!

《Hadoop 权威指南》上用这么一句话来描述HDFS：
HDFS is a filesystem designed for storing very large files with streaming data Access patterns, running on clusters of commodity hardware.
有几个关键性的词组：Very large files，Streamioracle视频ng data access，以及Commodity hardware。解下来一个一个解释。
① Very large files
在Hadoop中，“very large”是多大？运行在HDFS上的应用具有很大的数据集。HDFS上的一个典型文件大小一般都在G字节至T字节。现如今，已经有不少的企业，存储在HDFS上的数据，已经超过了PB的级别，例如淘宝。
② Streaming data access
HDFS的设计的理想用法是一次写入，多次读取。这种方式的使用是最高效的。运行在HDFS上的应用和普通的应用不同，需要流式访问它们的数据集。HDFS的设计中更多的考虑到了数据批处理，而不是用户交互处理。比之数据访问的低延迟问题，更关键的在于数据访问的高吞吐量，所以，从这方面来说，读取整个数据的时间延迟要比读取到第一条记录的数据延迟更重要（这一点很重要，这一思想，将在《HDFS学习(二) – HDFS Block介绍》中说明）。
③ Commodity hardwareoracle教程

经李克强总理签批，2015年9月，国务院印发《促进大数据发展行动纲要》（以下简称《纲要》），系统部署大数据发展工作。

《纲要》明确，推动大数据发展和应用，在未来5至10年打造精准治理、多方协作的社会治理新模式，建立运行平稳、安全高效的经济运行新机制，构建以人为本、惠及全民的民生服务新体系，开启大众创业、万众创新的创新驱动新格局，培育高端智能、新兴繁荣的产业发展新生态。

《纲要》部署三方面主要任务。一要加快政府数据开放共享，推动资源整合，提升治理能力。大力推动政府部门数据共享，稳步推动公共数据资源开放，统筹规划大数据基础设施建设，支持宏观调控科学化，推动政府治理精准化，推进商事服务便捷化，促进安全保障高效化，加快民生服务普惠化。二要推动产业创新发展，培育新兴业态，助力经济转型。发展大数据在工业、新兴产业、农业农村等行业领域应用，推动大数据发展与科研创新有机结合，推进基础研究和核心技术攻关，形成大数据产品体系，完善大数据产业链。三要强化安全保障，提高管理水平，促进健康发展。健全大数据安全保障体系，强化安全支撑。^[11]

2015年9月18日贵州省启动我国首个大数据综合试验区的建设工作，力争通过3至5年的努力，将贵州大数据综合试验区建设成为全国数据汇聚应用新高地、综合治理示范区、产业发展聚集区、创业创新首选地、政策创新先行区。

围绕这一目标，贵州省将重点构建“三大体系”，重点打造“七大平台”，实施“十大工程”。

“三大体系”是指构建先行先试的政策法规体系、跨界融合的产业生态体系、防控一体的安全保障体系；“七大平台”则是指打造大数据示范平台、大数据集聚平台、大数据应用平台、大数据交易平台、大数据金融服务平台、大数据交流合作平台和大数据创业创新平台；“十大工程”即实施数据资源汇聚工程、政府数据共享开放工程、综合治理示范提升工程、大数据便民惠民工程、大数据三大业态培育工程、传统产业改造升级工程、信息基础设施提升工程、人才培养引进工程、大数据安全保障工程和大数据区域试点统筹发展工程。

此外，贵州省将计划通过综合试验区建设，探索大数据应用的创新模式，培育大数据交易新的做法，开展数据交易的市场试点，鼓励产业链上下游之间的数据交换，规范数据资源的交易行为，促进形成新的业态。

国家发展改革委有关专家表示，大数据综合试验区建设不是简单的建产业园、建数据中心、建云平台等，而是要充分依托已有的设施资源，把现有的利用好，把新建的规划好，避免造成空间资源的浪费和损失。探索大数据应用新的模式，围绕有数据、用数据、管数据，开展先行先试，更好地服务国家大数据发展战略。

Hadoop适合部署在廉价的机器上，即普通的机器上，不需要时昂贵且高可靠的机器。这样的话，机器节点的故障几率就会非常高。所以，Hadoop是一个高度容错的系统，错误检测和快速、自动的恢复是HDFS最核心的架构目标。Hadoop出现故障时，被设计成能够继续进行且不让用户察觉。
综上，HDFS是一个不错的分布式文件系统，但是，HDFS也有其不适合的场合，也有其缺点：
① 低延时数据访问oracle视频教程

HDFS不太适合于要求低延时（数十毫秒）访问的应用程序，因为HDFS是设计用于高吞吐量数据访问的，这就需要以一定的延时为代价。而对于那些有低延时要求的应用程序，Hbase是一个更好的选择。HBase的口号就是“Use ApacheHBase when you need random, realtime read/write access to your Big Data”。
② 大量的小文件
因为Namenode把文件系统的元数据放置在内存中，所以文件系统所能容纳的文件数目是由Namenode的内存大小来决定。一般来说，每一个文件、文件夹和Block需要占据150字节左右的空间，所以，如果你有1000万个文件，每一个占据一个Block，你就至少需要2G内存。当前来说，数百万的文件还是可行的，当扩展到数十亿时，我们就需要几十G的内存。这样算来，Namenode内存，就严重制约了集群的扩展。
还有一个问题就是，因为Map task的数量是由splits来决定的，所以用MR处理大量的小文件时，就会产生过多的Map task，线程管理开销将会增加作业时间。处理大量小文件的速度远远小于处理同等大小的大文件的速度。举个例子，处理10000M的文件，若每个split为1M，那就会有10000个Map tasks，会有很大的线程开销；若每个split为100M，则只有100个Map tasks，每个Map task将会有更多的事情做，而线程的管理开销也将减小很多。oracle数据库教程
对于第一问题，最新版本的Hadoop已经有了解决方案：HDFS Federation，将在《HDFS学习(四) – HDFS Federation》做详细介绍。
对于第二个问题，Hadoop本身也提供了一定的解决方案，将在《Hadoop学习(五) – 小文件处理》做详细介绍。
③ 多用户写，任意文件修改
目前Hadoop只支持单用户写，不支持并发多用户写。可以使用Append操作在文件的末尾添加数据，但不支持在文件的任意位置进行修改。《Hadoop 权威指南》第三版上说，现在尚无对这方面的支持。
Files in HDFS may be written to by a single writer. Writes are always made at the end of the file. There is no support for multiple writers or for modifications at arbitrary offsets in the file. (These might be supported in the future, but they are likely to be relatively inefficient.)
更多视频课程文章的课程，可到课课家官网查看。我在等你哟！！！