云计算平台搭建要点详解

　　云计算平台也称为云平台。云计算平台可以划分为3类：以数据存储为主的存储型云平台，以数据处理为主的计算型云平台以及计算和数据存储处理兼顾的综合云计算平台。

　　搭建云计算平台首先需要了解什么是云计算：云计算是一种通过Internet以服务的方式提供动态可伸缩的虚拟化的资源的计算模式。

　　   搭建云计算平台步骤：规划-数据中心-绘制业务数据流-了解手工部署流程-组织结构-标准化-自动化流程整合。

　　   规划：需要对当前数据中心资产和运行流程创建完整的文档，需要描述数据中心中现有的设备之间的关系并考虑如何部署未来的新设备。由于环境十分复杂，企业会指派不同的人员维护数据中心中不同的数据。需要了解所有不同角色与数据中心设备之间的交互过程，角色之间责任重叠。企业的高层决策者需要参与整个计划的过程并做出决策。

　　   数据中心的完整资产信息：数据中心中包括大量的服务器和设备，首先需要收集这些硬件资产的信息，以及这些资产之间的关系。资产之间的关系对于计划非常重要。这里举例来看一个服务器和网络之间的关系：

　　通过一个逻辑定义的IP地址访问服务器 

　　必须在操作系统中定义一个网络接口才能定义IP地址 

　　服务器中必须有一个物理网卡来支持操作系统中定义的网络接口 

　　网卡具有特定的属性，例如MAC地址，用来通过物理链路和数据中心内的其他设备连接 

　　网卡必须连接到交换机的一个端口上 

　　交换机也拥有自己的关系，例如端口属于哪一个模块，交换机之间的连接关系

　　（1）AbiCloud（Abiquo公司）

　　AbiCloud是一款用于公司的开源的云计算平台，使公司能够以快速、简单和可扩展的方式创建和管理大型、复杂的IT基础设施（包括虚拟服务器、网络、应用、存储设备等）。Abiquo公司位于美国加利福尼亚州红木市，它提供的云计算服务包括为企业创造和管理私人云服务、公共云服务和混合云服务，能让企业用户把他们的电脑和移动设备中的占据大量资源的数据转移到更大、更安全的服务器上。

　　（2）Hadoop（Apache基金会）

　　该计划是完全模仿Google体系架构做的一个开源项目，主要包括Map/Reduce和HDFS文件系统

　　（3）Eucalyptus项目（加利福尼亚大学）

　　创建了一个使企业能够使用它们内部IT资源（包括服务器、存储系统、网络设备）的开源界面，来建立能够和AmazonEC2兼容的云

　　（4）MongoDB（10gen）

　　MongoDB是一个高性能、开源、无模式的文档型数据库，它在许多场景下可用于替代传统的关系型数据库或键/值存储方式。mongodb由C++写就，其名字来自humongous这个单词的中间部分，从名字可见其野心所在就是海量数据的处理。关于它的一个最简洁描述为：scalable,high-performance,opensource,schema-free,document-orienteddatabase。

　　（5）Enomalism弹性计算平台

　　它提供了一个功能类似于EC2的云计算框架。Enomalism基于Linux，同时支持Xen和KernelVirtualMachine(KVM)。与其他纯IaaS解决方案不同的是，Enomalism提供了一个基于TurboGearsWeb应用程序框架和Python的软件栈

　　（6）Nimbus（网格中间件Globus）

　　Nimbus面向科学计算需求，通过一组开源工具来实现基础设施即服务（IaaS）的云计算解决方案。

　　   绘制业务数据流：在将设备逻辑关系文档化后，为了确定可以实现自动化部署的部分，正确理解配置这些设备的流程非常重要。另外了解设备在业务功能上的用途也很重要。根据这些信息，我们基本可以确定数据中心的基础构架，例如路由器、交换机、数据库服务器和负载均衡器这些设备的变动比较少，而且配置方式比较特殊，因此不适合使用自动化部署。而应用服务器通常使用相同的硬件并且经常发生变动，根据我们收集的信息分析来看比较适合使用自动化部署。

　　   了解手工部署流程：将数据中心设备当前的结构和使用情况文档化后，还要将管理数据中心的IT流程文档化。这样就可以将设备从抵达到进入数据中心需要进行的工作整理为一个步骤列表。这个列表包括上架和接电等手工步骤以及可以融入自动化管理平台的自动化步骤。部署流程通常是跨组织角色的，并且应该和现有的自动化技术结合组成完整的解决方案。

　　通过这种文档化之后，你就可以理解一个数据中心的那些部分可以使用自动化管理。每个组织在实施自动化管理时有一套独特的步骤，并且每个步骤都有不同的需求，因此这样的自动化管理平台并不是一成不变就可以解决所有问题的。针对每个用户不同的环境、不同的流程，我们都需要对这个云计算平台进行定制化。这样才能满足不同用户的需求。

　　   组织结构：自动化部署涉及到很多复杂的步骤，包括物理基础架构、操作系统、网络基础架构、应用程序部署、监控、项目管理以及和其他部门的协调。一般日常的服务器部署不需要和其他部门协调就可以完成，除非存在组织上的、安全上的或其他方面的原因。

　　在很多组织中，架构中很多部分被认为对业务是非常关键的。例如，网络架构部门需要满足网络可用性以及变更管理和安全性问题的服务级别协议。而云计算平台通常需要改变IT文化，要更好的使用这个平台，就需要将组织中的每个部门都融入到其中。

　　   标准化：很多组织的IT环境都是异构的，这使云计算平台的实施变得更加复杂。因此最好的方法就是数据中心的设备都使用标准的硬件配置，使硬件类型最少化。例如针对应用程序服务器层，使用统一的硬件平台可以减少对每台服务器的手动配置的工作量。 

　　   自动化流程整合：很多组织都已经在IT基础构架的不同层次使用了自动化部署，例如启动服务器、软件分发包、系统管理软件和用来运行日常任务的定制化脚本等技术。但是这些自动化技术都是针对于某一个子系统或者局部的，在部署整个系统的过程中还是需要很多的人工介入来完成。云计算平台并不会完全替代现有的这些技术，而是依赖于这些自动化技术和流程来实现更高层次的、全局性的自动化管理。

　　当然，国外也有很多厂商的开源产品可以支持企业搭建云计算平台：

　　 

　　Abiquo公司开源产品

　　Abiquo公司帮助用户建立，管理以及扩展复杂的计算架构。具体开源云计算产品有三类，三种产品分别是abiCloud,abiNtense和abiData。这三种产品都可以用来架构和开发公有私有混合云，以及云应用等的基础设施。

　　abiCloud是开源云管理软件，可以创建管理资源并且可以按需扩展。

　　abiNtense是一个类似于Grid的架构，用来减少大量高性能计算的执行时间。

　　abiData由Hadoop，hBase，Pig开发而来，是一个信息管理系统，可以用来搭建分析大量数据的应用。是低成本的云存储解决方案。

　　Enomalism（Enomaly公司产品）云计算平台。Enomalism是一个开放源代码项目，它提供了一个功能类似于亚马逊EC2的云计算框架。Enomalism基于Linux，同时支持Xen和KernelVirtualMachine(KVM)。Enomalism提供了一个基于TurboGearsWeb应用程序框架和Python的软件栈。EnomalyECP(ElasticComputingPlatform，弹性计算平台)是一个功能齐全、使用方便、成熟稳定的云基础设施（IaaS）管理软件（类似于亚马逊EC2），可帮助企业和运营商快速建设和部署的云计算环境（既可面向企业内部用户提供私有云服务，亦可面向公共用户提供公有云服务）。

　　Euclyptus项目(ElasticUtilityComputingArchitectureforLinkingYourProgramsToUsefulSystems)是AmazonEC2的一个开源实现，它与商业服务接口兼容。和EC2一样，Eucalyptus依赖于Linux和Xen进行操作系统虚拟化。Eucalyptus是加利福尼亚大学(SantaBarbara)为进行云计算研究而开发的。您可以从该大学的网站上下载它，或者通过EucalyptusPublicCloud体验它，不过后者有一些限制。Eucalyptus云计算平台，在一个平台上（分为opensource版和enterprise版），提供了对这些资源的抽象。Eucalyptus的源码是公开的。并且有提供给CentOS5，Debiansqueeze，OpenSUSE11，Fedora12的软件包。

　　 AppDrop： GoogleAppEngine (GAE)的开放源码克隆版，提供与GAE同样的接口。这意着你可以在Euclyptus上提供类似GAE的服务。（网站已失效）

　　 10Gen：它既是一个云平台，又是一个可下载的开放源代码包，可用于创建您自己的私有云。10gen是类似于AppEngine的一个软件栈，它提供与AppEngine类似的功能—但有一些不同之处。通过10gen，可以使用Python以及Javascript.和Ruby编程语言开发应用程序。该平台还使用沙盒概念隔离应用程序，并且使用它们自己的应用服务器的许多计算机(当然，是在Linux上构建)提供一个可靠的环境。

　　 NimBus：网格中间件Globus的作品，从最早的VirtualWorkspace演化而来，提供与EC2类似的功能和接口。

　　搭建云计算平台过程中需要注意的问题：

　　  1.能够管理多种云明白云在何处以及如为何采用或丢弃的原因是一个重要的战略眼光：在可用的格式中检索数据的能力以及为预期的工作量和位置寻找合适的云平台等等。你可以把合作伙伴关系或竞争问题作为你多云战略的决定因素。

　　  2.处理数据的安全性和定位你的系统管理员可以绕过定位和数据保密规定获得企业战略吗？有关HIPAA或其他监管问题呢？如果他们不承认这是一个值得关注的问题，为什么他们会寻找它的管理工具？

　　  3.用心管理整个云你的架构师和工程师可能是不错的，但你确定他们使用最好的一套通用和简化工具来管理你的数据吗？根据你选择的平台性能和生命周期，要从隐私安全方面考虑可以采取的政策。

　　  4.包括开发基于角色的安全性虽然你的工程师和基础设施管理员能够处理屯对访问到云管理平台的安全性决定，但他们能确定客户（开发商或最终用户）和合作伙伴可能访问你的云么？

　　  5.纳入一个虚拟机的安全套件对于这方面，CIO可能应不需要过多的投入，但应该是高级安全角色参与该项目的领域。

　　  6.考虑从创建到删除的生命周期确保平台有一个坚实的生命周期来帮你指定一个更有效的利用模式，减少资源使用不当的风险。

　　  7.整合操作平台（监测、计费等）定义这些需求主要是技术团队的任务，但有关管理监控和计费等预算，仍然是至关重要的。

　　  8.提供API的常用工具和脚本语言主要技术/架构的规定，可能会导致集成异常。

　　最后再提供一起云计算平台搭建的案例-中国地质大学武汉分院云计算平台的搭建。

　　    在地质勘探、珍贵矿物采集以及地质变化研究领域，对于科学技术器材配备以及高性能计算环境的要求高。这项科学研究需要非常严谨，要求百密而无一疏。中国地质大学每年都要为全国各个有关行业输送大量人才，为国家地质建设发展作出巨大贡献。而就在这背后，中国地质大学武汉分院近日再度发力，成功的搭建了云计算平台，这也为其更好的培养人才增加了砝码。下面我们就来看看中国地质大学(武汉)云计算平台搭建始末。

　　首先将平台以后资源进行整合是建立云计算平台的基础工作!曙光公司在中国地质大学拥有大量高性能计算集群平台，包括材化学院、物理与数学学院、环境学院、地空学院。部署系统4套，应用领域涵盖了数学物理、环境、石油、材料化学等多个学科。曙光公司拥有得天独厚的优势，可以根据用户的要求整合整个校园地区分散的超级计算资源，构建本地区的综合计算平台，不存在任何兼容性问题和技术障碍。这一要求得以满足，校方可以放心大胆的开展后续工作。

　　为中国地质大学武汉分院搭建云计算平台的是我国高性能计算领导厂商曙光，曙光与高校合作已经不是第一次了，下面让我们首先谈谈曙光给出的硬件解决方案，曙光为中国地质大学(武汉)云计算平台提供的天潮5000A高性能计算集群硬件系统包括计算子系统、存储子系统、网络子系统、管理诊断子系统以及基础架构子系统五个部分

　　  中国地质大学(武汉)云计算平台是由曙光5000A在基础架构上进行了创新和改进,采用HPP(HyperParallelProcessing)体系架构，融合了Cluster和MPP两种计算机的优势;曙光5000A的计算节点以TC2600系列刀片产品为主，也可以配置曙光其他服务器产品。既可以使用全限速无阻塞的Infiniband网络构建通讯网络，也可以使用冗余万兆级联的分区无阻塞Ethernet互联网络;配置存储系统，既可以配置简单易用的DAS存储，又可以构建高性能的FC或InfinibandSAN存储，提供较高的聚合I/O带宽等。

　　计算子系统高性能计算节点部分共包括92个曙光CB65-F刀片服务器，共提供了736个2.6GHz处理器核心和1.5TB内存，另外还提供了两台胖计算节点，具备超强的计算能力，理论峰值运算速度高达8.87Tflops(每秒8.87万亿次浮点运算)。

　　曙光提供的存储子系统硬件部分是基于目前业界领先的高速Infiniband互联之上的全局共享并行IO架构，包括4个数据服务器、1个元数据服务器、一套12T的一级实时存储和一套二级备份存储，软件部分基于成熟的Lustre并行文件系统，数据块分散存储于4个存储管理节点，降低数据丢失风险。和曙光集群管理软件结合，对文件系统部署、文件系统管理、文件系统快速恢复提供良好支持。

　　  由于地质学的特殊性，曙光为其云计算平台设计了三套互联网络!基于Infiniband的高速通信网络和基于千兆管理维护网络和千兆作业调度网络，IB网络和千兆以太网专网专用并互为备份。

　　管理诊断子系统和高集成度硬件控制单元也是此套方案亮点之一，新一代曙光5000A超级计算机系统具备业界最为完善的管理、诊断系统设计。全新管理平台包括内嵌于服务器节点的高集成度服务器硬件控制单元以及功能全面的管理软件系统GridviewHPC2.0。

　　服务器硬件控制单元集成了IPMI2.0、KVMoverIP、虚拟媒体、散热控制以及电源管理等功能，能够对服务器节点实现硬件级别的全面资源管理。服务器硬件控制单元完全独立于操作系统，通过RJ45端口接入千兆管理网络，配合Gridview管理软件实现对全部硬件资源的统一监控和管理。

　　大规模视频切换系统基于SKVMoverIP技术，支持本地视频维护以及基于网络的远程诊断，并具备极强的扩展能力，是目前业界作为领先的视频管理解决方案。

　　  中国地质大学(武汉)学院采用92台刀片式服务器CB65-F作为计算节点，峰值性能达到8.87Tflops。

　　CB65-F是曙光公司最新研发的新一代刀片式服务器产品，并专为HPC进行优化设计，单节点linpack效率超过80%。其在国内拥有大量部署，如下图所示为CB65-F的系统结构图，两颗处理器通过AMDHypertransport总线直接实现互联，互联带宽高达8GB/s。每个处理器通过集成的内存控制器访问四通道内存系统。南桥芯片基于高性能的HT2100，实现2个高速PCIEx8和2个千兆以太网扩展。

　　除上述硬件外，中国地质大学武汉学院选用曙光8-way64位服务器A950系统作为胖计算节点。共采用2台曙光8-wayA950服务器、16颗AMD64位2.5GHzshanghaiCPU构建胖计算节点，提供640Gflops的主频峰值计算能力。曙光A950的优势在于CPU以及内存的扩展能力，系统支持最多达32个CPU的并行编程，并行支持所有的编程模式(共享变量和消息传递)，具有极高的编程可移植性。同时系统64位和32位的全方位的支持使得其再开发和使用高性能计算机软件更加容易，可移植性更强。8P系统中采用交叉互联架构实现相距最远的两颗处理器之间最大hops数由直连架构4跳减为3跳，由此大大降低了CPU访存时延。

　　（1）服务无处不在－－用户只需要一台具备基本计算能力的计算设备以及一个有效的互联网连接，就可以随时随地使用该服务。从这个意义来讲，任何联网的应用，都具备成为云计算平台的潜力。

　　（2）具备进入成本－－用户具备使用该服务的需求，但是并不具备独立提供该服务的经济或者技术条件。譬如说某些企业需要定期地进行大规模的运算，但是并不值得专门为此购置一台具备大规模运算能力的计算设备。超算中心通过发展客户群让多个用户来分担超级计算机的成本，使得其用户能够在不拥有计算设备的情况下以较小的成本完成计算任务。

　　（3）用户决定应用－－云计算平台提供计算能力（包括处理器、内存、存储、网络接口），但是并不关心用户的应用类型。用户利用云计算平台所提供的计算能力，并且充分考虑云计算平台所设定的（技术和经济）限制，开发出丰富多彩的应用。满足如上几个条件的云计算平台，又可以按照其所提供服务之层次细分为基础设施服务（IaaS，例如在线存储和数据库服务）、平台即服务（PaaS，例如AMP虚拟主机和JavaEE应用服务器容器）和软件即服务（SaaS，例如GoogleDocs）。很多厂商在提到云计算的时候，往往会同时提到分布式计算（DistributedComputing）、并行计算（ParalleComputing）、网格计算（GridComputing）、实用计算（UtilityComputing）等等概念。事实上用户并不关心这些五花八门的新名词，他们所关心的仅仅是某项服务是否可用以及使用该服务所需要的成本。说得难听点，这些概念仅仅是云计算平台提供商在创建云计算平台时才需要了解的技术细节，它们可以被认为是云计算的表象，但并不是云计算的本质。

　　更多详细内容，尽在课课家教育，我们期待您的咨询！