在VMware虚拟环境下配置Hadoop图解教程

　　Hadoop它是一个开源的分布式计算框架，主要由MapReduce、HDFS、Hbase这几个核心部分组成。相信大部分朋友对Hadoop肯定不陌生,Hadoop作为云计算的基础平台，使用它的人越来越多，对于一般人而言，要想搭建真实的集群环境是比较难的，因此想要体验Hadoop，只有在虚拟机中搭建环境了。

　　上周我尝试在Windows环境下的Vmware环境下配置Hadoop环境，为了让大家以后工作的便利，现将操作过程和配置心得与大家分享。

　　1.实验环境

　　虚拟机节点配置:

　　(1)内存：256MB

　　(2)硬盘：20G

　　(3)网卡连接方式：NAT

　　2.配置虚拟机

　　(1)在一个节点上安装DebianOS操作系统，更新下载源，安装配置jdk、gcc、make、sshd、ssh、rsync等软件，为了使用的方便建议安装vim-syntax-support，vim高亮显示。

　　(2）根据hadoop的docs的quickstart.html来实现standalone、pesduodistribution、clustersetup三个配置,单个节点只需完成前两步即可。

　　(3)拷贝*.vmdk多份，克隆出多个相同环境的节点。

　　(4）修改/etc/hosts,为组成虚拟集群的各个节点设置hostname。

　　3.配置Hadoop

　　(1)对于初次安装，首先要明确的是Hadoop需要在各个节点下拥有一致Hadoop_Home目录，并且里面的配置文件内容应该保持一致。

　　(2)需要配置的文件有：

　　I).conf/hadoop-env.sh配置java路径。

　　II).conf/core-site.xml设置hdfs的服务端口，在中修改对应的值。

　　III)conf/hdfs-site.xml:设置hdfs节点的配置信息。要修改的是hadoop.tmp.dir为用户可以访问的一个文件夹。

　　IV).conf/mapred-site.xml,其中的mapred.job.tracker配置了jobTracker的工作节点和端口号，而mapred.job.tracker.http.address则设置了一个监控端口，我们可以通过一个jsp---http://192.168.40.135:50031页面来查看map/reduce的工作进度。

　　V).conf/master、conf/slave配置主从节点

　　如果/etc/hosts已经定义了节点hostname，可以直接写hostname，不然输入节点的IP地址也是一个不错的选择。有需要注意的是，每个节点应该换行，这是很重要的一点。

　　4.运行hadoop

　　(1)格式化namenode，bin/hadoopnamenode-format

　　(2)启动bin/start-all.sh

　　(3)通过命令jps查看namenode、jobtracker是否启动，当然如果是slave节点就是检查datanode和tasktracker

　　(4)如果这都没问题，请去大胆尝试分布式环境下的Map/Reduce编程吧。

　　5.实验心得

　　(1)犯错是学习的最要机会，不要因为怕犯错而缩手缩脚，不敢尝试，尤其是在虚拟机搭建集群时，要多犯错误。在虚拟机上搭建集群是集群管理学习提供了一个绝佳的入门机会，此处犯错，实际受益。

　　(2)在用户目录下配置Hadoop环境完全可行。完全可以通过修改文件的权限，实现Hadoop的配置和执行，避免了多人使用同一环境造成的混乱。

　　(3)在虚拟机上运行Hadoop如何组织网络。

      结语：

　　在Windows环境下的VMware环境下配置Hadoop环境,以上是这部分教程的全部内容，如果操作顺利得当，那么恭喜整个Hadoop框架成功搭建与VMwareworkstations软件中，下面的任务就是编写自己的程序，然后运行于该框架。尽情享受Hadoop的乐趣，尽情学习吧！