运用Hadoop能否搭建完整的云计算平台?

　　Apache Hadoop 是一个用java语言实现的软件框架,在由大量计算机组成的集群中运行海量数据的分布式计算,它可以让应用程序支持上千个节点和PB级别的数据。大家要认真阅读本篇文章哦~

     Hadoop并不完全代表云计算，所以，要用Hadoop搭建完整的云计算平台，答案是不够。我们常说云计算，实际上还是通过计算机的大规模或者说海量处理来为生活中各式各样的人和各行各业服务——所以，核心在“服务”。关于服务，展开来就是常用的那3种(也是事实上的标准)：SaaS,PaaS,IaaS。对云计算来说，公有和私有，虚拟和存储，这其实是相对讨论的核心。

　　回头说Hadoop。在Google三大论文的直接刺激下，Hadoop社区兴起，而在众多的开源实现中，Hadoop(主项目)可以说是所有已知云计算方面开源项目的一个Top项目。

　　云计算中有哪些构件?发展到目前的技术与规模，并没有一个确切的定论，今天的说的话明天可能就不一样了。但对Hadoop来说，实现了的部分，就是大部分企业在不断发展中所遇到的大部分问题。直接上图：

　　从整体生态系统的角度，从底层存储，到中间的计算模型和框架，再到上层的逻辑处理和流、显示，都有相应开源的实现。这就是你说的构件了。

　　包括我们看到的Hadoop2.0中，引入的新的处理框架，Spark，Storm，YARN(取代MR)，都是Hadoop生态系统的完善与实现。

　　Hadoop实现的是在简易硬件的基础上进行尽量高可用性海量计算与处理的中上层模型。Hadoop处理了存储(也只是一部分)，虚拟化是没有涉及的，而底层硬件Hadoop也是不涉及的，不管是Hadoop还是其他的项目，只是在软件的层面想通过纵向或者横向的拓展解决所有的问题是不现实的。Hadoop在硬件这方面，只是在实现中预留或者接入硬件特性，也就是在虚拟化这方面Hadoop只是个“APP”，不是“始作俑者”(用词不当了)。

　　那么，完整的云计算平台呢?

　　按照企业级来说，是要看具体的企业方向和企业类型的，包括IBM和VMware都有提供不同的解决方案。大致上一定是由单点–>集群–>多层(准分布式)–>硬件–>分布式(地域分布)来解决的。具体到Hadoop体系的技术，直接去对应上图就好了。

　　从云计算这个概念出现到今天，资料可以说“浩如烟海”了，但很多资料只是互相复制黏贴，并没有说到云计算的核心。我想提出的一个观点是，完整的云计算平台，依赖的是业务，提供的是存储与支持。

　　没有业务需求而是照搬网上的资料或者自认为“活用”了某些技术，都可能只是“娱人娱己”。我们看一下互联网负载均衡技术是如何发展的就就更容易理解云计算：

　　客户端缓存–>CDN缓存–>Apache&Nginx静态页面缓存–>php和Java动态内存–>Memcache&Other Nosql–>MySQL&Oracle–>HDFS&Other Big Table

　　从技术的角度看，所有问题解决起来都是层次化的(大家肯定都有写Demo吧)，都是根据不同的需求引入不同的技术，在单层单点乃至集群都无法解决问题的时候，新的计算框架，云计算与网格计算乃至动画需要的大规模渲染都在需要的时候顺理成章的引入。总之，完整的云计算平台，对于不同的公司业务都是不同的，拿腾讯来说，平台的组件多如牛毛，“平台”只是提供最基础的服务：存储与支持，其他的都需要业务根据自身的特点在其上进行构建(相信大公司都是有自己的完整方案的，这里我就不能再说了……)，至于提高什么样级别的这种“服务”，就要看公司的业务规模，需要支撑的体系，乃至公司的决策战略了等等。

　　课外知识分享：

　　Hadoop这个名字不是一个缩写，它是一个虚构的名字。该项目的创建者，Doug Cutting如此解释Hadoop的得名："这个名字是我孩子给一个棕黄色的大象样子的填充玩具命名的。我的命名标准就是简短，容易发音和拼写，没有太多的意义，并且不会被用于别处。小孩子是这方面的高手。”[Hadoop: The Definitive Guide]

　　Hadoop 是最受欢迎的在 Internet 上对搜索关键字进行内容分类的工具，但它也可以解决许多要求极大伸缩性的问题。例如，如果您要 grep 一个 10TB 的巨型文件，会出现什么情况?在传统的系统上，这将需要很长的时间。但是 Hadoop 在设计时就考虑到这些问题，采用并行执行机制，因此能大大提高效率。

     小结:Hadoop的内部工作机制是复杂的，相互依赖的，因为它运行在分布式系统的理论、实用技术和技术常识这些复杂的基础之上。学习Hadoop也将是一个漫长的过程，以上只是我在这段时间的一点学习总结，希望能在工作中不断地深入理解hadoop的思想，并将其运用到实际工作中。如果大家还想了解更多内容，请关注课课家教育平台!