Linux下Hadoop集群安装指南设计-mary-new

《Linux下Hadoop集群安装指南设计-mary-new》由会员分享，可在线阅读，更多相关《Linux下Hadoop集群安装指南设计-mary-new（16页珍藏版）》请在装配图网上搜索。

1、wordLinux下Hadoop集群安装指南第一步：安装VMware8.1.4如果机器是64位操作系统，安装VMware-workstation-full-8.0.0-471780，序列号：5F0Z1-24057-DZX88-4L97K-1AV2N如果是32位操作系统，就用VMware-workstation-full-9第二步：安装Ubuntu Linux8.1.31在VMware上新创建一个虚拟机，选择镜像ubuntu-10.04.4-desktop-i386，选择保存为单个文件。2Full name就是机器名字，如Ubuntu-hadoop，username就是用户名，例如mimo，密码

2、就是每次登陆linux的密码，虚拟机名可以写成写ubuntu-hadoop，位置选择一个空间大的磁盘，尽量不要放在C盘第三步：安装Hadoop云计算系统8.1.51. 创建Hadoop用户2安装Hadoop云计算系统软件1先用鼠标复制Hadoop安装包：hadoop-1.0.4.tar，然后用鼠标复制到当前目录/home/mary；2然后执行：tar -xzvf hadoop-1.0.4.tar.gz就开始安装了。3安装其他Hadoop必备软件把jdk-6u33-linux-i586.bin复制到/home/mary下，然后命令行执行sudo ./jdk-6u33-linux-i586.bin

3、 sudo apt-get install openjdk-6-jdksudo apt-get install sshsudo apt-get install openssh-serversudo apt-get install rsync备注：如果系统提示找不到文件，如此是因为刚刚把这个文件拷贝到了桌面，执行这个mv Desktop/jdk-6u33-linux-i586.bin ./，如此将文件移动到当前目录，再执行./jdk-6u33-linux-i586.bin，安装成功。4.编辑主机设置文档&修改系统环境配置文件4.1编辑主机设置文档_设置虚拟机网络连接需要这2台虚拟机能上网Inte

4、rnet，同时相互能互联，并且能够与主机互联。设置2块网卡,如下:设置桥接模式下的网络连接.1. sudogedit/etc/network/interfaces将eth1相关的容修改为如下配置：1. autoeth12. 3. ifaceeth1inetstatic4. address192.168.1.1015. netmask255.255.255.06. gateway192.168.1.254然后再重启网络服务：1. sudo/etc/init.d/networkingrestart最后再用ifconfig和route来看看是更改正来了，再ping一下sina，看看Internet是

5、否可用：按照同样的方法来配置其余虚拟机即可。网络配好了后，可以通过ssh或ping来检测是否可以相互联通。然后打开一个Terminal，sudo gedit /etc/hosts设置为：127.0.0.1 localhost 192.168.1.100 hadoop192.168.1.101 hadoop1！重点参考wangchunhai.blog.51cto./225186/3812254.2修改系统环境配置文件sudo gedit /etc/profile，参加如下配置：export JAVA_HOME=/home/mary/jdk1.6.0_33export JRE_HOME=/home

6、/mary/jdk1.6.0_33/jre export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PATH=$HADOOP_HOME/bin:$JRE_HOME/bin:$JAVA_HOME/bin:$PATH export HADOOP_HOME=/home/mary/hadoop5. 创建SSH密钥安全联机免密码登录SSH根本原理和用法 SSH之所以能够保证安全，原因在于它采用了公钥加密。过程如下：(1)远程主机收到用户的登录请求，把自己的公钥发给用户。(2)用户使用这个公钥，将登录密码加密后，发送回来。(3)远

7、程主机用自己的私钥，解密登录密码，如果密码正确，就同意用户登录。1Master节点利用ssh-keygen命令生成一个无密码密钥对。在Master节点上执行以下命令： ssh-keygen -t rsa -P 创建密钥运行后询问其保存路径时直接回车采用默认路径。生成的密钥对：id_rsa私钥和id_rsa.pub公钥，默认存储在/home/用户名/.ssh目录下。查看/home/用户名/下是否有.ssh文件夹，且.ssh文件下是否有两个刚生产的无密码密钥对。2) 接着在Master节点上做如下配置，把id_rsa.pub追加到授权的key里面去,将RSA公用密钥文档id_rsa.pub存储成授

8、权密钥文档authorized_keys。cat /.ssh/id_rsa.pub /.ssh/authorized_keys3ssh localhost4exit5在其他slave主机上也同样运行SSH密钥的动作，生成 “/home/mary/.ssh密钥放置目录6在Master上使用scp安全复制指令将master这台主机所创建的SSH授权密钥authorized_keys,复制到每台slave上。$ scp authorized_keys slave1:/home/mary/.ssh$ scp authorized_keys slave2:/home/mary/.ssh$ ssh sla

9、ve1$ ssh slave2/ssh-copy-id i id_rsapub zylslave 尝试用该方法复制第四步：安装VIM执行sudo apt-get install vim下载27Mvim是linux下的文本编辑器，配置环境变量时要用vim编辑器第五步：多节点Hadoop云计算系统配置0. Masters与slaves配置用指令sudo gedit masters(home/mary/conf)修改文件mastersMaster(为你的主机名 可以gedit /etc/hostname 去修改为和你想要的名字)用指令sudo gedit slaves(home/mary/conf)

10、修改文件slaves slave1(为你的主机名 可以gedit /etc/hostname 去修改为和你想要的名字slave2127.0.0.1 hadoop1. hadoop运行环境变量配置hadoop-env.sh进入到hadoop的conf目录下$ gedit hadoop-env.shexport JAVA_HOME=/home/mary/jdk1.6.0_33同时，在/etc/profile文件中参加以下export HADOOP_HOME=/home/mary/hadoop-1.0.4和PATH另外，也可以执行vim .bashrc，就打开环境变量文件：最后 输入 cat .ba

11、shrc查看环境变量。如果配置同上面的一样，如此说明配置环境变量成功。补充：JAVA_HOME、HADOOP_HOME如何确定？输入pwd，查看当前目录，如果在/home/mary下，就输入ls查看，如如下图，可以查看到JAVA_HOME和HADOOP_HOME。2.Hadoop云计算系统设置文档core-site.xml输入vim core-site.xml，然后按i键，进入编辑模式，然后增加如下代码：fs.default.namehdfs:/master:9000这里的master为你的主机名hadoop.tmp.dir/home/erick/tmp在你的home目录下建一个tmp文件夹如

12、如下图所示。然后退出vim。3.HDFS分布式文档系统设置文档hdfs-site.xml然后输入vim hdfs-site.xml，指定刚刚创建的目录，增加如下代码。dfs.replication3dfs.permissionsfalse4. Map/Reduce程序设置文档mapred-site.xml输入vim mapred-site.xml即配置mapreduce，然后增加如下代码：mapred.job.trackermaster:9001master为主机名完成以上步骤后退出。5. 复制设置文档到其他Hadoop子服务器$ scp r /home/mary/hadoop-1.0.4 s

13、lave1:/home/mary$ scp r /home/mary/hadoop-1.0.4 slave2:/home/mary*到此为止，hadoop全部安装配置完毕。*第八步：格式化Hadoop(8.2.3)格式化HDFS，执行bin/hadoop namenode -format第九步：启动Hadoop(8.2.3)1启动hadoop，执行start-all.sh2然后在浏览器里输入localhost:50070/，可以看到HDFS的web界面，如如下图：这里也为主机名如果你失败了， 把hadoop下的log删掉 。还有把tmp下的文件全部删除 重新查看配置 在重启3在浏览器里输入lo

14、calhost:50030/，是MapReduce的界面，如如下图：第十步：关闭hadoop执行：stop-all.sh第十一步：集群基准测试1、 HDFS基准测试maryubuntu:$ /hadoop-1.0.4/bin/hadoop jar hadoop-1.0.4/hadoop-test-1.0.4.jar TestDFSIO -write -nrFiles 10 -filesize 16补充：参考 .blogs./lanxuezaipiao/p/3525554.html1 查看ubuntu系统的版本:cat /etc/issue2 查看ubuntu系统的位数:file /sbin/i

15、nit3 查看 java是否安装成功：java version4 重启网络服务:service network restart5 即时生效:# hostn6 linux终端下如何退出root权限: :Ctrl + D7 新建一个命令窗口:ctrl+alt+T8 关闭Hadoop的安全模式: Hadoop的目录下输入：bin/hadoop dfsadmin -safemode leave9 Linux 删除文件夹和文件的命令 linux删除目录很简单，很多人还是习惯用rmdir，不过一旦目录非空，就陷入深深的苦恼之中，现在使用rm -rf命令即可。直接rm就可以了，不过要加两个参数-rf 即：r

16、m -rf 目录名字-r 就是向下递归，不管有多少级目录，一并删除-f 就是直接强行删除，不作任何提示的意思1删除文件夹实例：rm -rf /var/log/d/access将会删除/var/log/d/access目录以与其下所有文件、文件夹删除文件使用实例：rm -f /var/log/d/access.log将会强制删除/var/log/d/access.log这个文件END须知事项 使用这个rm -rf的时候一定要格外小心，linux没有回收站的很多朋友在使用前没有看到这一点重要的提示信息，以至于删除之后再想找回就很难了*附录：Hadoop集群搭建常见错误*1路径问题hadoopubu

17、ntu:$ hadoop/bin/hadoop jarhadoop-0.20.2-examples.jarwordcount input01 output01Exception in thread main java.io.IOException: Error opening job jar: hadoop-0.20.2-examples.jarat org.apache.hadoop.util.RunJar.main(RunJar.java:90)Caused by: java.util.zip.ZipException: error in opening zip fileat java.u

18、til.zip.ZipFile.open(Native Method)at java.util.zip.ZipFile.(ZipFile.java:131)at java.util.jar.JarFile.(JarFile.java:150)at java.util.jar.JarFile.(JarFile.java:87)at org.apache.hadoop.util.RunJar.main(RunJar.java:88)发生这个异常后，找了很多帖子都没有解答，也有很多人遇到了类似的情况。其实这一般并不是java包有问题，就是上面的命令行中hadoop-0.20.2-examples.j

19、ar路径不完整造成的，需要注意一下命令行当前的位置，比如对于我的情况，改为hadoop/hadoop-0.20.2-examples.jar就可以了2.Datanode 无法启动的问题【问题描述】：执行了 ./hadoop namenode -format 之后启动hadoop: ./start-all.sh运行jps，发现 datanode没有起来但是 TaskTracker是正常启动的。去datanode的错误日志里面发现的下面的问题：2015-05-04 11:37:12,857 INFO org.apache.hadoop.hdfs.server.datanode.DataNode:

20、STARTUP_MSG: /* STARTUP_MSG: Starting DataNode STARTUP_MSG: host = hadoop/192.168.182.100 STARTUP_MSG: args = STARTUP_MSG: version = 1.0.4 STARTUP_MSG: build = s:/svn.apache.org/repos/asf/hadoop/mon/branches/branch-1.0 -r 1393290; piled by hortonfo on Wed Oct 3 05:13:58 UTC 2012 */ 2015-05-04 11:37:

21、13,388 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties 2015-05-04 11:37:13,413 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source MetricsSystem,sub=Stats registered. 2015-05-04 11:37:13,415 INFO org.apache.hadoop.metrics2

22、.impl.MetricsSystemImpl: Scheduled snapshot period at 10 second(s). 2015-05-04 11:37:13,415 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: DataNode metrics system started 2015-05-04 11:37:13,798 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source ugi registered. 2015

23、-05-04 11:37:13,818 WARN org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Source name ugi already exists! 2015-05-04 11:37:18,309 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: InpatiblenamespaceIDs in /home/mary/hadoop/data1: namenode namespaceID = 1033684170; datanod

24、e namespaceID = 585330462 at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:232) at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:147) at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:385) at

25、org.apache.hadoop.hdfs.server.datanode.DataNode.(DataNode.java:299) at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1582) at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1521) at org.apache.hadoop.hdfs.server.datanode.DataNode.create

26、DataNode(DataNode.java:1539) at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:1665) at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1682) 2015-05-04 11:37:18,316 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG: /* SHUTDOWN_MSG: Shut

27、ting down DataNode at hadoop/192.168.182.100导致datanode启动不了。原因:每次namenode format会重新创建一个namenodeId,而dfs.data.dir参数配置的目录中包含的是上次format创建的id,和dfs.name.dir参数配置的目录中的id不一致。namenode format清空了namenode下的数据,但是没有清空datanode下的数据,导致启动时失败,所要做的就是每次fotmat前,清空dfs.data.dir参数配置的目录.解决方法:/home/mary/hadoop/data1这个目录是我hdfs-s

28、ite.xml 配置文件里面 dfs.data.dir 的值，如下： dfs.data.dir /home/mary/hadoop/data1, /home/mary/hadoop/data2方法1.进入每个datanode的dfs.data.dir的 current目录，修改里面的文件VERSION#Fri Nov 23 15:00:17 CST 2012namespaceID=246015542storageID=DS-2085496284-192.168.1.244-50017403cTime=0storageType=DATA_NODElayoutVersion=-32里面有个 nam

29、espaceID 将其修改成为报错信息中的namenode namespaceID = 971169702一样的namespaceID.然后重新启动 datanode全部都能正常启动了。方法2：由于是测试环境，可以直接删除每个datanode 上面dfs.data.dir目录下所有的文件rm -rf *注意慎用该命令，不可恢复，彻底删除目录下的所有文件删除之后重新启动也是可以正常的启动所有的datanode进到dfs.data.dir目录下所有的datanode又全部重新生成了。350070 集群节点数正确，50030下查看，没有节点原因：namenode处于安全模式解决方法：退出安全模式bin/hadoop dfsadmin -safemode leave16 / 16