Hadoop集群配置详细解读课件

《Hadoop集群配置详细解读课件》由会员分享，可在线阅读，更多相关《Hadoop集群配置详细解读课件（49页珍藏版）》请在装配图网上搜索。

1、Hadoop集群配置手册（详细）太原理工大学邓红霞提提 纲纲 启动两台虚拟客户机 Linux系统配置 Hadoop配置部署 启动Hadoop集群 HDFS下的文件操作Eclipse在Hadoop中的使用及配置启动两台虚拟客户机 打开VMware Workstation10，打开已经安装好的虚拟机HadoopMaster和HadoopSlave。如果之前没有打开过两个虚拟机，请使用文件-打开选项，选择之前的虚拟安装包。Linux系统配置操作步骤需要在HadoopMaster和HadoopSlave节点上分别完整操作，都是用root用户。su root从当前用户切换root用户的命令如下：从当前用

2、户切换root用户的命令如下：Linux系统配置mv/Desktop/software/从当前用户切换root用户的命令如下：1拷贝软件包和数据包2配置自动时钟同步crontab e键入下面的一行代码：01*/usr/sbin/ntpdateus.pool.ntp.orgLinux系统配置gedit/etc/sysconfig/network从当前用户切换root用户的命令如下：3配置HadoopMaster节点主机名NETWORKING=yes#启动网络NETWORKING_IPV6=noHOSTNAME=master#主机名 配置信息如下：将HadoopMaster节点的主机名改为mast

3、er，即下面代码的第3行所示Linux系统配置gedit/etc/sysconfig/network从当前用户切换root用户的命令如下：3配置HadoopSlave节点主机名NETWORKING=yes#启动网络NETWORKING_IPV6=noHOSTNAME=slave#主机名 配置信息如下：将HadoopSlave节点的主机名改为slave，即下面代码的第3行所示Linux系统配置从当前用户切换root用户的命令如下：4使用setup命令配置网络环境Linux系统配置从当前用户切换root用户的命令如下：选择“Network Configuration”，回车进入该项Linux系统配

4、置从当前用户切换root用户的命令如下：选择“Network Configuration”，回车进入该项Linux系统配置从当前用户切换root用户的命令如下：5关闭防火墙Linux系统配置从当前用户切换root用户的命令如下：6配置hosts列表gedit/etc/hosts编辑主机名列表的命令编辑主机名列表的命令，并添加如下两行到文件192.168.58.128 master192.168.58.129 slaveping masterping slaveLinux系统配置从当前用户切换root用户的命令如下：7安装JDKcd/home/dhx/software/jdkmkdir/usr/

5、javamv jdk1.6.0_45.zip/usr/java/cd/usr/javaunzip jdk1.6.0_45.zip编辑主机名列表的命令将JDK文件解压，放到/usr/java目录下Linux系统配置从当前用户切换root用户的命令如下：7安装JDKgedit/home/dhx/.bash_profile编辑主机名列表的命令使用gedit配置环境变量export JAVA_HOME=/usr/java/jdk1.6.0_45/export PATH=$JAVA_HOME/bin:$PATH使改动生效命令 source.bash_profile测试版本 java-versionLin

6、ux系统配置从当前用户切换root用户的命令如下：8免密钥登录配置编辑主机名列表的命令此部分所有的操作都要在dhx用户ssh-keygen-t rsa在HadoopMaster节点终端生成密钥，命令如下（一路点击回车生成密钥）Linux系统配置从当前用户切换root用户的命令如下：8免密钥登录配置编辑主机名列表的命令复制公钥文件cat/.ssh/id_rsa.pub/.ssh/authorized_keysLinux系统配置从当前用户切换root用户的命令如下：8免密钥登录配置编辑主机名列表的命令修改authorized_keys文件的权限chmod 600 authorized_keysLi

7、nux系统配置从当前用户切换root用户的命令如下：8免密钥登录配置编辑主机名列表的命令将authorized_keys文件复制到slave节点scp authorized_keys dhxslave:/scpauthorized_keysdhxslave:/.sshLinux系统配置从当前用户切换root用户的命令如下：8免密钥登录配置编辑主机名列表的命令此部分所有的操作都要在dhx用户ssh-keygen-t rsa在HadoopSlave节点终端生成密钥，命令如下（一路点击回车生成密钥）将authorized_keys文件移动到.ssh目录mv authorized_keys/.ssh/

8、Linux系统配置从当前用户切换root用户的命令如下：8免密钥登录配置编辑主机名列表的命令修改authorized_keys文件的权限chmod 600 authorized_keys验证免密钥登录HadoopMaster机器上执行下面的命令ssh slaveHadoop配置部署从当前用户切换root用户的命令如下：1免密钥登录配置编辑主机名列表的命令所有的操作都是用自定义用户（dhx）su dhxHadoop安装包解压cp hadoop-1.2.1.tar.gz/cdtar-zxvf hadoop-1.2.1.tar.gzcd hadoop-1.2.1Hadoop配置部署从当前用户切换ro

9、ot用户的命令如下：2配置环境变量Hadoop-env.sh编辑主机名列表的命令环境变量文件中，只需要配置JDK的路径gedit conf/hadoop-env.shHadoop配置部署从当前用户切换root用户的命令如下：3配置核心组件core-site.xml编辑主机名列表的命令gedit conf/core-site.xmlfs.default.name/*2.0后用fs.defaultFS代替*/hdfs:/master:9000hadoop.tmp.dir/home/dhx/hadoopdata Hadoop配置部署从当前用户切换root用户的命令如下：3配置核心组件core-sit

10、e.xml编辑主机名列表的命令注释一：hadoop分布式文件系统文件存放位置都是基于hadoop.tmp.dir目录的，namenode的名字空间存放地方就是$hadoop.tmp.dir/dfs/name，datanode数据块的存放地方就是$hadoop.tmp.dir/dfs/data，所以设置好hadoop.tmp.dir目录后，其他的重要目录都是在这个目录下面，这是一个根目录。Hadoop配置部署从当前用户切换root用户的命令如下：3配置核心组件core-site.xml编辑主机名列表的命令注释二：fs.default.name，设置namenode所在主机，端口号是9000注释三

11、：core-site.xml 对应有一个core-default.xml,hdfs-site.xml对应有一个hdfs-default.xml，mapred-site.xml对应有一个mapred-default.xml。这三个defalult文件里面都有一些默认配置，现在我们修改这三个site文件，目的就覆盖default里面的一些配置Hadoop配置部署从当前用户切换root用户的命令如下：4配置文件系统hdfs-site.xml编辑主机名列表的命令gedit conf/hdfs-site.xmldfs.replication1dfs.replication，设置数据块的复制次数，默认是3

12、，如果slave节点数少于3，则写成相应的1或者2Hadoop配置部署从当前用户切换root用户的命令如下：5配置计算框架mapred-site.xml编辑主机名列表的命令gedit conf/mapred-site.xmlmapred.job.trackermaster:9001mapred.job.tracker，设置jobtracker所在机器，端口号9001Hadoop配置部署从当前用户切换root用户的命令如下：6配置主节点masters编辑主机名列表的命令gedit conf/mastersmaster7配置从节点slavesgedit conf/slavesmasterslave

13、 masterslave masterslaveHadoop配置部署从当前用户切换root用户的命令如下：8复制到从节点编辑主机名列表的命令scp-r hadoop-1.2.1 slave:/masterslave masterslave 接下来让配置生效！Hadoop配置部署从当前用户切换root用户的命令如下：9配置Hadoop启动的系统环境变量编辑主机名列表的命令masterslave masterslave 该节的配置需要同时在两个节点（HadoopMaster和HadoopSlave）上进行操作（在自定义用户上操作）cdgedit.bash_profile#HADOOPexportH

14、ADOOP_HOME=/home/dhx/hadoop-1.2.1exportPATH=$HADOOP_HOME/bin:$PATH然后执行命令source.bash_profile启动Hadoop集群从当前用户切换root用户的命令如下：1格式化文件系统编辑主机名列表的命令hadoop namenode-formatmasterslave masterslave 2启动Hadoopcd/hadoop-1.2.1bin/start-all.sh3查看进程jps启动Hadoop集群从当前用户切换root用户的命令如下：4 Web UI查看集群是否成功启动编辑主机名列表的命令在HadoopMast

15、er上启动Fixefox浏览器，在浏览器地址栏中输入http:/master:50070/，检查namenode和datanode是否正常。masterslave masterslave 在HadoopMaster上启动Fixefox浏览器，在浏览器地址栏中输入http:/master:50030/，检查JobTracker和TaskTracker是否正常启动Hadoop集群从当前用户切换root用户的命令如下：5运行PI实例检查集群是否成功编辑主机名列表的命令cd/home/dhx/hadoop-1.2.1hadoop jar hadoop-examples-1.2.1.jar pi 10

16、10masterslave masterslave HDFS下的文件操作从当前用户切换root用户的命令如下：1创建文件夹编辑主机名列表的命令hadoop fs-mkdir inputhadoop fs-mkdir/inputmasterslave masterslave 2列出HDFS文件hadoop fs-ls#返回HDFS的user/dhx目录下的内容hadoop fs-ls/#返回HDFS根目录下的内容hadoop fs-ls/input#返回HDFS的input目录下的内容HDFS下的文件操作从当前用户切换root用户的命令如下：3上传本地文件到HDFS编辑主机名列表的命令hadoo

17、p fs-put newfile/input#上传到HDFS的input目录中hadoop fs-put test1.txt/inputhadoop fs-put newfile newfile1#上传并重新命名masterslave masterslave 4将HDFS的文件复制到本地系统中hadoop fs-get newfile1 newfile1 hadoop fs-get input inHDFS下的文件操作从当前用户切换root用户的命令如下：5删除HDFS下的文档编辑主机名列表的命令hadoop fs-rmr newfile1hadoop fs-rm/newfile1hadoop

18、 fs-rmr/inputmasterslave masterslave 6查看HDFS下的文档hadoop fs-cat newfilehadoop fs-cat newfile|head-2hadoop fs-cat newfile|tail-2HDFS下的文件操作从当前用户切换root用户的命令如下：7运行wordcount编辑主机名列表的命令bin/hadoop jar hadoop-examples-1.2.1.jar wordcount/input/outputmasterslave masterslave 运行过程会直接产生output目录，查看运行结果hadoop fs-cat

19、/output/*8查看HDFS命令hadoop fs-helpHDFS下的文件操作从当前用户切换root用户的命令如下：9报告HDFS的基本统计信息编辑主机名列表的命令hadoop dfsadmin-reportmasterslave masterslave 10安全模式hadoop dfsadmin-saftmode leave#退出安全模式hadoop dfsadmin-saftmode enter#进入安全模式11负载均衡bin/start-balancer.sh启动eclipse从当前用户切换root用户的命令如下：1启动Eclipse编辑主机名列表的命令mv/Desktop/ide-code/masterslave masterslave 找到文件夹ide-code，然后双击eclipse2Eclipse中配置Hadoop插件 将hadoop安装包hadoop-eclipse-plugin-1.2.1.jar拷贝到eclipse的插件目录plugins下。需要注意的是插件版本（及后面开发导入的所有jar包）与运行的hadoop一致，否则可能会出现EOFException异常。