首页视频课程模拟题库新闻中心IT文库读书招聘博客论坛
商城
hot
我的课课家
软考photoshoporaclePHPhcnpMayajava
名课折扣免费课程套餐学习线路图
专题课程
老男孩Linux系统设计软件教程计算机考证
公众号/APP端
扫码关注课课家微信号，访问移动端

关注微信公众号，可下载APP应用。

帮助中心 创建学院
下载安卓APP箭头
箭头给我发消息

客服QQ：3315713922
IT培训 / 新闻资讯 / 大数据教程 / Hadoop 2.0：分布式环境搭建安装配置及简介

Hadoop 2.0：分布式环境搭建安装配置及简介

作者：课课家     来源： www.kokojia.com点击数：729发布时间： 2015-11-02 11:38:19

标签： 大数据视频教程大数据视频

在众多学习中，文章也许不起眼，但是重要的下面我们就来讲解一下！！

集群环境：
1 NameNode(真实主机):
Linuxyan-Server 3.4.36-gentoo #3 SMP Mon Apr 1 14:09:12 CST 2013 x86_64 AMD Athlon(tm) X4 750K Quad Core Processor AuthenticAMD GNU/Linux
2 DataNode1(虚拟机):
Linux node1 3.5.0-23-generic #35~precise1-Ubuntu SMP Fri Jan 25 17:13:26 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux
3 DataNode2(虚拟机):
Linux node2 3.5.0-23-generic #35~precise1-Ubuntu SMP Fri Jan 25 17:13:26 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux
4 DataNode3(虚拟机):
Linux node3 3.5.0-23-generic #35~precise1-Ubuntu SMP Fri Jan 25 17:13:26 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux
1.安装VirtualBox虚拟机
Gentoo下直接命令编译安装，或者官网下载二进制安装包直接安装：
emerge -av virtualboxoracle教程
2.虚拟机下安装Ubuntu 12.04 LTS
使用Ubuntu镜像安装完成后，然后再克隆另外两台虚拟主机（这里会遇到克隆的主机启动的时候主机名和MAC地址会是一样的，局域网会造成冲突）
主机名修改文件
/etc/hostname
MAC地址修改需要先删除文件
/etc/udev/rules.d/70-persistent-net.rules
然后在启动之前设置VirtualBox虚拟机的MAC地址

启动后会自动生成删除的文件，配置网卡的MAC地址。
为了更方便的在各主机之间共享文件，可以启动主机yan-Server的NFS，将命令加入/etc/rc.local中，让客户端自动挂载NFS目录。
删除各虚拟机的NetworkManager，手动设置静态的IP地址，例如node2主机的/etc/network/interfaces文件配置如下：

  1. auto lo 
  2. iface lo inet loopback 
  3. auto eth0 
  4. iface eth0 inet static 
  5. address 192.168.137.202 
  6. gateway 192.168.137.1 
  7. netmask 255.255.255.0 
  8. network 192.168.137.0 
  9. broadcast 192.168.137.255 

主机的基本环境设置完毕，下面是主机对应的IP地址

类型 主机名 IP
NameNode yan-Server 192.168.137.100
DataNode node1 192.168.137.201
DataNode node2 192.168.137.202
DataNode node3 192.168.137.203

为了节省资源，可以设置虚拟机默认启动字符界面，然后通过主机的TERMINAL ssh远程登录。（SSH已经启动服务，允许远程登录，安装方法不再赘述）
设置方式是修改/etc/default/grub文件将下面的一行解除注释
GRUB_TERMINAL=consoleoracle视频教程
然后update-grub即可。
3.环境的配置
3.1配置JDK环境（之前就做好了，这里不再赘述）
3.2在官网下载Hadoop，然后解压到/opt/目录下面（这里使用的是hadoop-2.0.4-alpha）
然后进入目录/opt/hadoop-2.0.4-alpha/etc/hadoop，配置hadoop文件
修改文件hadoop-env.sh

  1. export HADOOP_FREFIX=/opt/hadoop-2.0.4-alpha 
  2. export HADOOP_COMMON_HOME=${HADOOP_FREFIX} 
  3. export HADOOP_HDFS_HOME=${HADOOP_FREFIX} 
  4. export PATH=$PATH:$HADOOP_FREFIX/bin 
  5. export PATH=$PATH:$HADOOP_FREFIX/sbin 
  6. export HADOOP_MAPRED_HOME=${HADOOP_FREFIX} 
  7. export Yarn_HOME=${HADOOP_FREFIX} 
  8. export HADOOP_CONF_HOME=${HADOOP_FREFIX}/etc/hadoop 
  9. export YARN_CONF_DIR=${HADOOP_FREFIX}/etc/hadoop 
  10. export Java_HOME=/opt/jdk1.7.0_21 

修改文件hdfs-site.xml

  1.  
  2.  
  3.   dfs.namenode.name.dir 
  4.   file:/opt/hadoop-2.0.4-alpha/workspace/name 
  5.   Determines where on the local filesystem the DFS name node should store the 
  6. name table.If this is a comma-delimited list of directories,then name table is 
  7. replicated in all of the directories,for redundancy. 
  8.   true 
  9.  
  10.  
  11.   dfs.datanode.data.dir 
  12.   file:/opt/hadoop-2.0.4-alpha/workspace/data 
  13.   Determines where on the local filesystem an DFS data node should 
  14. store its blocks.If this is a comma-delimited list of directories,then data will 
  15. be stored in all named directories,typically on different devices.Directories that do not exist are ignored. 
  16.    
  17.   true 
  18.  
  19.  
  20.   dfs.replication 
  21.   1 
  22.  
  23.  
  24.   dfs.permission 
  25.   false 
  26.  
  27.  

修改文件mapred-site.xml

经李克强总理签批，2015年9月，国务院印发《促进大数据发展行动纲要》（以下简称《纲要》），系统部署大数据发展工作。
《纲要》明确，推动大数据发展和应用，在未来5至10年打造精准治理、多方协作的社会治理新模式，建立运行平稳、安全高效的经济运行新机制，构建以人为本、惠及全民的民生服务新体系，开启大众创业、万众创新的创新驱动新格局，培育高端智能、新兴繁荣的产业发展新生态。
《纲要》部署三方面主要任务。一要加快政府数据开放共享，推动资源整合，提升治理能力。大力推动政府部门数据共享，稳步推动公共数据资源开放，统筹规划大数据基础设施建设，支持宏观调控科学化，推动政府治理精准化，推进商事服务便捷化，促进安全保障高效化，加快民生服务普惠化。二要推动产业创新发展，培育新兴业态，助力经济转型。发展大数据在工业、新兴产业、农业农村等行业领域应用，推动大数据发展与科研创新有机结合，推进基础研究和核心技术攻关，形成大数据产品体系，完善大数据产业链。三要强化安全保障，提高管理水平，促进健康发展。健全大数据安全保障体系，强化安全支撑。[11] 
2015年9月18日贵州省启动我国首个大数据综合试验区的建设工作，力争通过3至5年的努力，将贵州大数据综合试验区建设成为全国数据汇聚应用新高地、综合治理示范区、产业发展聚集区、创业创新首选地、政策创新先行区。
围绕这一目标，贵州省将重点构建“三大体系”，重点打造“七大平台”，实施“十大工程”。
“三大体系”是指构建先行先试的政策法规体系、跨界融合的产业生态体系、防控一体的安全保障体系；“七大平台”则是指打造大数据示范平台、大数据集聚平台、大数据应用平台、大数据交易平台、大数据金融服务平台、大数据交流合作平台和大数据创业创新平台；“十大工程”即实施数据资源汇聚工程、政府数据共享开放工程、综合治理示范提升工程、大数据便民惠民工程、大数据三大业态培育工程、传统产业改造升级工程、信息基础设施提升工程、人才培养引进工程、大数据安全保障工程和大数据区域试点统筹发展工程。
此外，贵州省将计划通过综合试验区建设，探索大数据应用的创新模式，培育大数据交易新的做法，开展数据交易的市场试点，鼓励产业链上下游之间的数据交换，规范数据资源的交易行为，促进形成新的业态。
国家发展改革委有关专家表示，大数据综合试验区建设不是简单的建产业园、建数据中心、建云平台等，而是要充分依托已有的设施资源，把现有的利用好，把新建的规划好，避免造成空间资源的浪费和损失。探索大数据应用新的模式，围绕有数据、用数据、管数据，开展先行先试，更好地服务国家大数据发展战略。
  1.  
  2.  
  3.   mapreduce.framework.name 
  4.   yarn 
  5.  
  6.  
  7.   mapreduce.job.tracker 
  8.   hdfs://yan-Server:9001 
  9.   true 
  10.  
  11.  
  12.   mapreduce.map.memory.mb 
  13.   1536 
  14.  
  15.  
  16.   mapreduce.map.java.opts 
  17.   -Xmx1024M 
  18.  
  19.  
  20.   mapreduce.reduce.memory.mb 
  21.   3072 
  22.  
  23.  
  24.   mapreduce.reduce.java.opts 
  25.   -Xmx2560M 
  26.  
  27.  
  28.   mapreduce.task.io.sort.mb 
  29.   512 
  30.  
  31.  
  32.   mapreduce.task.io.sort.factor 
  33.   100 
  34.  
  35.  
  36.   mapreduce.reduce.shuffle.parallelcopies 
  37.   50 
  38.  
  39.  oracle视频
  40.   mapred.system.dir 
  41.   file:/opt/hadoop-2.0.4-alpha/workspace/systemdir 
  42.   true 
  43.  
  44.  
  45.   mapred.local.dir 
  46.   file:/opt/hadoop-2.0.4-alpha/workspace/localdir 
  47.   true 
  48.  
  49.  

修改文件yarn-env.xml

  1. export HADOOP_FREFIX=/opt/hadoop-2.0.4-alpha 
  2. export HADOOP_COMMON_HOME=${HADOOP_FREFIX} 
  3. export HADOOP_HDFS_HOME=${HADOOP_FREFIX} 
  4. export PATH=$PATH:$HADOOP_FREFIX/bin 
  5. export PATH=$PATH:$HADOOP_FREFIX/sbin 
  6. export HADOOP_MAPRED_HOME=${HADOOP_FREFIX} 
  7. export YARN_HOME=${HADOOP_FREFIX} 
  8. export HADOOP_CONF_HOME=${HADOOP_FREFIX}/etc/hadoop 
  9. export YARN_CONF_DIR=${HADOOP_FREFIX}/etc/hadoop 
  10. export JAVA_HOME=/opt/jdk1.7.0_21 

修改文件yarn-site.xml

  1.  oracle数据库教程
  2.  
  3.   yarn.resourcemanager.address 
  4.   yan-Server:8080 
  5.  
  6.  
  7.   yarn.resourcemanager.scheduler.address 
  8.   yan-Server:8081 
  9.  
  10.  
  11.   yarn.resourcemanager.resource-tracker.address 
  12.   yan-Server:8082 
  13.  
  14.  
  15.   yarn.nodemanager.aux-services 
  16.   mapreduce.shuffle 
  17.  
  18.  
  19.   yarn.nodemanager.aux-services.mapreduce.shuffle.class 
  20.   org.Apache.hadoop.mapred.ShuffleHandler 
  21.  
  22.  

将配置好的Hadoop复制到各DataNode（这里DataNode的JDK配置和主机的配置是一致的，不需要再修改JDK的配置）
3.3 修改主机的/etc/hosts，将NameNode加入该文件
192.168.137.100yan-Server
192.168.137.201node1
192.168.137.202node2
192.168.137.203node3
3.4 修改各DataNode的/etc/hosts文件，也添加上述的内容
192.168.137.100yan-Server
192.168.137.201node1
192.168.137.202node2
192.168.137.203node3
3.5 配置SSH免密码登录（所有的主机都使用root用户登录）
主机上运行命令
ssh-kengen -t rsa
一路回车，然后复制.ssh/id_rsa.pub为各DataNode的root用户目录.ssh/authorized_keys文件
然后在主机上远程登录一次
ssh root@node1
首次登录可能会需要输入密码，之后就不再需要。（其他的DataNode也都远程登录一次确保可以免输入密码登录）
4.启动Hadoop
为了方便，在主机的/etc/profile配置hadoop的环境变量，如下：

  1. export HADOOP_PREFIX="/opt/hadoop-2.0.4-alpha" 
  2. export PATH=$PATH:$HADOOP_PREFIX/bin 
  3. export PATH=$PATH:$HADOOP_PREFIX/sbin 
  4. export HADOOP_MAPRED_HOME=${HADOOP_PREFIX} 
  5. export HADOOP_COMMON_HOME=${HADOOP_PREFIX} 
  6. export HADOOP_HDFS_HOME=${HADOOP_PREFIX} 
  7. export YARN_HOME=${HADOOP_PREFIX} 

4.1 格式化NameNode
hdfs namenode -format
4.2 启动全部进程
start-all.sh
VBz003.png">
在浏览器查看，地址：
http://localhost:8088/

所有数据节点DataNode正常启动。
4.3 关闭所有进程
stop-all.sh

至此，Hadoop环境搭建基本结束。
更多视频课程文章的课程，可到课课家官网查看。我在等你哟！！！

赞(104)
踩(3)
分享到：
上一篇：达沃斯首场辩论会:大数据还是大忽悠
下一篇：怎样用acdsee去除图片中多余的人
大数据为您推荐
资料下载
华为认证网络工程师 HCIE直播课视频教程
粤ICP备13047178号 粤公网安备44010602001432号

广州挪贤计算机科技有限公司 版权所有

Copyright @ 2013-2023 KokoJia.com Inc. All Rights Reserved.
客服热线：
020-32643462
9:00~19:00
视频课程设计视频教程运维实战教程游戏开发培训office视频教程编程入门教程