个人学习搭建Zookeeper_Hadoop_HBase集群文档

《个人学习搭建Zookeeper_Hadoop_HBase集群文档》由会员分享，可在线阅读，更多相关《个人学习搭建Zookeeper_Hadoop_HBase集群文档（64页珍藏版）》请在装配图网上搜索。

1、-个人学习搭建Zookeeper集群Hadoop集群HBase集群文档 0.1变更记录变更序号变更原因变更页码变更前版本号变更后版本号更改人批准人生效日期备注1文档建立、起草0.1金刚目 录1. 引言61.1. 编写目的62. 系统介绍72.1. 总体说明72.2. 软件版本72.3. 网络与部署构造72.4. 虚拟机信息82.5. 软件安装目录103. 系统安装部署113.1. 系统配置113.1.1. 添加主机名113.1.2. 防火墙设置123.1.3. selinu*设置123.1.4. 时区133.1.5. 保证部署的各集群所使用的用户及组是同一个133.1.6. 更改系统资源配置1

2、43.1.7. SSH无密码访问配置153.1.8. JAVA安装163.1.9. 添加环境变量173.1.10. 其他的系统环境本卷须知不完整，仅有根本参数说明，日后需要补充183.2. Zookeeper193.2.1. Zookeeper安装193.2.2. Zookeeper配置不完整，仅有根本参数说明，日后需要补充203.2.3. 复制zk到其他主机上213.2.4. 设置myid223.3. Hadoop233.3.1. Hadoop安装243.3.2. Hadoop配置不完整，仅有根本参数说明，日后需要补充243.4. Hbase323.4.1. Hbase安装323.4.2.

3、Hbase配置不完整，仅有根本参数说明，日后需要补充334. 效劳启停384.1. Zookeeper384.1.1. Zookeeper启动384.1.2. Zookeeper停顿384.2. Hadoop384.2.1. 前提条件384.2.2. 初始化394.2.3. hadoop启动394.2.4. hadoop停顿404.3. Hbase414.3.1. 前提条件414.3.2. Hbase启动414.3.3. Hbase停顿425. 使用435.1. Hadoop操作命令使用435.1.1. 显示文件列表435.1.2. 增加文件目录435.1.3. 查看所有目录435.1.4.

4、用put将文件从本地文件复制到HDFS中去435.1.5. 从HDFS中取回文件435.1.6. 删除文件435.1.7. 杀掉任务445.1.8. 查看任务445.2. Hadoop监控页面使用445.2.1. 查看namenode445.2.2. 查看datanode未做过，日后需验证并修改445.3. Hbase Shell使用445.3.1. 创立表445.3.2. 显示所有表455.3.3. 关闭shell455.3.4. 查看表构造455.3.5. 修改表构造455.3.6. 删除一个列簇465.3.7. 增加一个列簇465.3.8. 删除表，先disable再进展删除465.3.

5、9. 查询表是否存在465.3.10. 判断表是否enable465.3.11. 判断表是否disable465.3.12. 表中插入数据465.3.13. 全表扫描475.3.14. rowkey围查找475.3.15. 删除一行数据475.3.16. 获取表一个id的数据475.3.17. 更新一条记录475.3.18. 通过timestamp来获取一个版本的数据475.3.19. 通过VERSIONS来获取多个版本的数据485.3.20. 删除表*一id一个版本的一个字段485.3.21. 删除表*一id所有版本的一个字段485.3.22. 删除整行数据485.3.23. 查询表中有多少

6、行485.3.24. 给表*一id增加一个字段并使用counter实现递增485.3.25. 清空表485.3.26. 查询效劳器状态495.3.27. 执行脚本文件495.4. Hbase监控页面使用495.4.1. 查看Master Server495.4.2. 查看Region Server496. 运行状态检测及维护506.1. Zookeeper506.1.1. 进程查看506.1.2. 进程异常维护506.1.3. 进程状态查看506.2. Hadoop506.2.1. 进程查看506.2.2. Namenode状态516.3. Hbase516.3.1. 进程查看516.3.2.

7、 进程异常维护527. 动态扩展节点(暂未做过，需要核实并修改)537.1. 动态扩展datanode537.1.1. 增加节点537.1.2. 删除节点557.2. HBASE动态扩展regionserver567.2.1. 增加节点567.2.2. 删除节点581. 引言1.1. 编写目的2. 系统介绍2.1. 总体说明SDFS产品的虚拟存储效劳是以HBASE未存储介质的，所以这里个人学习了HBASE的安装部署。2.2. 软件版本1) hadoop-2.7.12) hbase-3) jdk-8u452.3. 网络与部署构造主机JPS查看结果磁盘大小存大小效劳名称附属组件描述DRM006(1

8、92.168.56.136)QuorumPeerMain zookeeper40G1GJournalNode hadoopNameNode hadoopDataNode hadoopDFSZKFailoverControllerhadoopHRegionServer hbaseThriftServer hbaseDRM007(192.168.56.137)QuorumPeerMain zookeeper40G1GJournalNode hadoopNameNode hadoopDataNode hadoopDFSZKFailoverController hadoopNodeManager ha

9、doopHRegionServer hbaseThriftServerhbaseDRM008(192.168.56.138)QuorumPeerMainzookeeper40G1GJournalNode hadoopDataNode hadoopNodeManager hadoopHRegionServer hbaseThriftServerhbaseHMaster hbase此Hbase集群、Hadoop集群、zookeeper集群搭建在个人的虚拟机中，由于本人的电脑配置较低8G存、500G硬盘，所以只启动三台虚拟机CentOS6.2进展混搭而成的。Hbase集群中有1个HMaster和3个

10、RegionServer。最优是3台HMaster，一主2备，主机宕机，2备中自动产生新的主备，有充分的时间恢复原主机。集群中RegionServer的数量取决于数据量。Hadoop集群中有2个NameNode和3个DataNode。最优3个。DataNode的数量取决于主机挂载的磁盘容量、数据量和副本数。Zookeeper集群3台，由于Zookeeper集群需要奇数台，3台是最少的具备高可用的配置，一台宕机不影响使用。其他组件，比方所使用的iDFS，实验室所使用的Tez，我个人都没有使用，由于是初次接触hadoop及hbase，所以，暂时没有使用这些可以提高性能的组件个人也不太了解。注意：集

11、群各机器必须保证网络稳定，否则会因为网速或带宽降低导致集群中*些节点失效。2.4. 虚拟机信息本人电脑有线IP:172.21.140.137，由于是动态获取的，有可能会变动。从开场到目前编写文档，已搭建的虚拟机信息如下虚拟机IPRoot口令主用户22对外端口系统磁盘大小存大小用途zjgzjg22222SUSE1160G2G单机版测试用zjgzjg30130CentOS6.26G512M130、131、132一起的第一次集群搭建，按照的e3base文档进展搭建zjgzjg30131CentOS6.26G512M同上zjgzjg30132CentOS6.26G512M同上zjgzjg30133Ce

12、ntOS6.220G512M133、134、135一起的第二次集群搭建，比对实验室的配置所搭建zjgzjg30134CentOS6.220G512M同上zjgzjg30135CentOS6.220G512M同上zjgzjg30136CentOS6.240G1G130、131、132一起的第三次集群搭建，失败zjgzjg30137CentOS6.240G1G130、131、132一起的第三次集群搭建zjgzjg30138CentOS6.240G1G130、131、132一起的第三次集群搭建zjgzjg30139CentOS6.240G512M备用由于个人在第一次搭建时，觉察还没有启用hbase，

13、磁盘就占用满了，在进展虚拟机扩展时，格式化新添加的磁盘总是失败，所以暂时不使用了。这个以后可以启动单独作为zookeeper集群。第二次搭建时，经历还是少，所以启动hadoop的namenode失败，不过，原因已经找到，修改配置及重新进展格式化，且扩展下这三台的存大小，能正常使用，目前未修改，保存着第二次失败的状态。第三次搭建是为了编写文档，需要重新搭建，所以并没有在第二次的虚拟机组进展搭建，又重新弄了三台虚拟机来。将来个人弄个16G存，及大一点的磁盘，就可以同时开启6台虚拟机，进展生产线最小集群的机组部署实验了。目前开启136-138这三台，本机电脑翻开其他软件，8G存的使用率为70%-80

14、%之间。CPU使用率一般，根本无压力，主要瓶颈还是在存这里。SDFS产品的组件还有一套分布式存库DMDB，我想如果在虚拟机上启动这个DMDB，同时运行SDFS，可能会比较吃力点，这点日后待补充。对于虚拟机对外端口，由于目前只是基于个人的测试练习用，所以并没有设置所部署的集群的对外端口，只设置了虚拟机对外连接的端口。2.5. 软件安装目录软件目录容路径JavaJAVA_HOME/usr/javahadoopHADOOP_HOME/home/zjg/hadoopHADOOP日志目录/home/zjg/hadoop/*/logsHADOOP数据目录/home/zjg/hadoop/*/tmpHADO

15、OP进程号目录/home/zjg/hadoop/*/pidsHADOOP配置目录/home/zjg/hadoop/etc/hadoopJournalnode信息目录/home/zjg/hadoop/*/jnhbaseHBASE_HOME/home/zjg/hbaseHBASE日志目录/home/zjg/hbase/*/logsHBASE数据目录/home/zjg/hbase/*/pidsHBASE进程号目录/home/zjg/hbase/*/tmpHBASE配置目录/home/zjg/hbase/confzookeeperZOOKEEPER_HOME/home/zjg/zookeeperZOO

16、KEEPER日志执行zookeeper的当前路径下的zookeeper.out文件ZOOKEEPER数据目录/home/zjg/zookeeper/dataZOOKEEPER配置目录/home/zjg/zookeeper/conf3. 系统安装部署3.1. 系统配置3.1.1. 添加主机名1. 首先切换到root用户下，命令为：$ su -2. 翻开/etc/hosts文件，命令为：$ vi /etc/hosts3. 添加如下主机容：192.168.56.130 DRM000192.168.56.131 DRM001192.168.56.132 DRM002192.168.56.133 DRM

17、003192.168.56.134 DRM004192.168.56.135 DRM005192.168.56.136 DRM006192.168.56.137 DRM007192.168.56.138 DRM008192.168.56.139 DRM0094. 检验使用ping命令，例如 ping DRM000我通过DRM006对DRM000进展ping操作，虽然没有ping成功，但是可以看到主机名称与IP相对应了。Ping不同的原因：DRM000没开机，或者不在网络，或者屏蔽了Ping命令。我这里是没开启DRM000虚拟机。3.1.2. 防火墙设置由于是分布式集群，通过设置的效劳端口在不同

18、的主机进展通讯，这里我个人觉得需要将所涉及的端口添加到防火墙的平安域中，不过，此环境是基于练手及测试的，加上所参考的部署文档也是讲防火墙进展了永不启动的状态，我这里也采用这个方式，将防火墙设置为开机不启动。可能实际运行的环境有对应的平安机制做保护吧.不了解1. 根用户切换$ su - 2.使用chkconfig将防火墙设置为不启动$ chkconfig iptables off3. 查看防火墙状态$ service iptables startus4. 假设当前没有关闭防火墙，则可以手动关闭,因为当前只是修改了启动项，并没有对当前已开启的防火墙进展关闭操作，所以，如果暂时不想重启，又想关闭防火

19、墙的话，执行$ service iptables stop3.1.3. selinu*设置selinu*是一种平安模式下的linu*用户管理系统，有许多的限制，我是基于前辈们的部署文档，自己这么理解的，而这种限制有可能影响到分布式的操作。所以，对于分布式集群的主机，需要关闭selinu*模式。1.切换根用户$ su -2. 翻开/etc/selinu*/config配置文件$ vi /etc/selinu*/config3.修改SELINU*的值SELINU*=disabled4. 保存退出该文件:wq5. 重启系统$reboot6. 重启后，查看selinu*状态$ sestatus -v说

20、明：个人不了解selinu*，分不清它的不同模式，所以，虽然看了手动切换的命令，但是，在实际的部署中，我直接关闭它的启动状态，并重启电脑了。所以这里没写手动关闭selinu*的操作。3.1.4. 时区由于SDFS所使用的分布式存库，这个组件是必须要东八区才能进展安装的，而且，分布式的hadoophbasezookeeper也需要保证集群的所以主机的时间一致性。参考的部署文档中提及NTPNetwork Time Protocol，网络时间协议,没有弄过，暂时先不写这个。1. 切换根用户$ su -2.将东八区(亚洲，)的时间文件替换当前的时区文件$ cp /usr/share/zoneinfo/

21、Asia/Shanghai /etc/localtime3.查看时区$ data -R3.1.5. 保证部署的各集群所使用的用户及组是同一个目前所有的用户是zjg,口令zjg，组为zjg。3.1.6. 更改系统资源配置1. 使用ulimit a用于查看系统进程所占用的资源，命令：$ ulimit -a红框中的四个参数值需要注意的。因为是分布式系统，存在大量多文件、多用户并发操作，且栈的大小的大量并发操作的瓶颈，所以需要调整来保证分布式系统在Linu*下的有效操作执行。data seg size 要求大于等于1048576 open files 要求大于等于1024 stack size 要求大

22、于等于131072ma* user processes 要求大于等于10240Data seg size是无限制的，所以不用担忧，而其他三项需要修改，直接执行ulimit命令，会在当前环境下暂时修改，但是重新启动系统后，又会恢复原来的暂时没找ulimit所读取的信息来自哪里，以下步骤是一种修改方式2. 切换到根用户$ su -3. 翻开/etc/bash_profile文件$ vi /etc/bash_profile4. 添加三条ulimit执行命令*ulimitulimit -n 65535ulimit -s 131072ulimit -u 102405.保存退出:wq6.执行source，

23、使配置起效$ source /etc/profile7.检验效果执行ulimit -a 发现确实修改了。8.重启检验效果执行reboot重启电脑$ reboot待重启后，执行ulimit -a，发现起效。注意：所有集群所在的主机，都需要这个局部的操作。3.1.7. SSH无密码访问配置HBASE、HDFS和ZOOKEEPER，hbase集群、hadoop集群之间需要无密码访问，因此集群之前需要完成集群对应主从节点之间的SSH无密码访问配置。可以通过一次生成ssh密钥多个拷贝的方式实现集群间所有主机之间用户的无密码访问。具体操作方式如下1. 使用zjg用户登录任意一台主机，如192.168.56

24、.136主机名为DRM006，执行ssh-keygen -t rsa -P 命令(-P 后面是一对单引号或者双引号)，看到提示就回车，然后会在/home/zjg/.ssh下生成一对公钥id_rsa.pub和密钥id_rsa文件。2. 执行cat /.ssh/id_rsa.pub /.ssh/authorized_keys命令，建立本机该用户之间的无密码登陆。3. 执行chmod 600 /.ssh/authorized_keys命令，设置authorized_keys文件权限，这步重要，有时操作还需要密码的时候，往往是这个文件无权限所导致的。4. 完成配置后，对本机进展测试，首次连接需要输入密

25、码，之后直接可以建立连接不在需要输密码，这样表示设置成功。5. 然后通过for i in seq 7 8; do scp -r /.ssh DRM00$i:/ ; done因为我操作的主机是DRM006,往DRM007DRM008两台进展复制的，所以seq中只写了7、8两台的结尾序号。6. 拷贝完成后，进展集群主机间无密码访问验证。通过ssh +主机名进展验证。不需要密码直接可以访问说明配置成功。7. 记得退出已登陆的主机，可以ifconfig来确定目前所在的主机是那一台，使用who来查看还有那些终端连接着该主机。3.1.8. JAVA安装JAVA主要设置三个全局变量JAVA_HOME，CLA

26、SSPATH，PATH。我这里使用的是jdk-8u45-linu*-*64.gz的tar包，不是bin的执行包，所以需要手动解压。1. 切换root用户$ su - 2. 查看/usr/java是否存在$ ll /usr/java如过有的话，则需要进一步确认该主机的环境。3.解压java的tar包$ tar *vf /home/zjg/packet/jdk-8u45-linu*-*64.gz -C /usr/5.java文件夹重命名，因为解压后的java目录名称不单单是java,而是jdk1.8.0_45，所以需要修改下6.翻开/etc/profile文件$ vi /etc/profile7.

27、添加java的全局变量*jdke*port JAVA_HOME=/usr/java/e*port CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/libe*port PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin8.保存退出/etc/profile文件:wq9.让配置即时生效$ source /etc/profile10.检验是否安装成功$ java -version3.1.9. 添加环境变量在zjg用户下，使用vi翻开/.bash_profile文件，添加如下环境变量e*por

28、t LANG=zh_.GB18030e*port PS1=hu$*hadoope*port HADOOP_HOME=/home/zjg/hadoope*port PATH=$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH*Hbasee*port HBASE_HOME=/home/zjg/hbasee*port PATH=$HBASE_HOME/bin:$PATH*zookeepere*port ZOOKEEPER_HOME=/home/zjg/zookeeperalias zkServerStart=$ZOOKEEPER_HOME/bin/zkServer.sh

29、 startalias zkServerStatus=$ZOOKEEPER_HOME/bin/zkServer.sh statusalias zkServerStop=$ZOOKEEPER_HOME/bin/zkServer.sh stopalias Jps=jps|grep -v Jpse*port PATH因为我的虚拟机都是新的，所以不担忧会替换旧的.bash_profile文件，以上是在DRM006主机操作的，可以直接使用scp将此文件更新到DRM007DRM008这两台主机上，命令$ for i in seq 7 8; do scp /.bash_profile DRM00$i:/ ;

30、 done3.1.10. 其他的系统环境本卷须知不完整，仅有根本参数说明，日后需要补充1. 安装有ssh，并处于运行状态通过ssh v验证本机是否安装了ssh，如提示出ssh的信息则已经安装。一般操作系统均默认安装了ssh。$ ssh -v这个一般都有安装。暂时不补充安装过程。2. 集群间启动ntp效劳，定时同步集群间主机时间我工作环境使用代理上网，虚拟机的外网代理设置目前不会，待日后补充。3. 安装系统yum库这个一般centos有安装。暂时不补充安装过程。4. 安装以上版本$ gcc -v这个一般都有安装。暂时不补充安装过程。5. 需要root权限需要知道root的口令。6. 数据节点挂载

31、目录不做raid，可挂载多个文件系统，配置多个数据存储目录。这点我本人不太理解，待日后补充。3.2. ZookeeperzookeeperZOOKEEPER_HOME/home/zjg/zookeeperZOOKEEPER日志目录启动zookeeper时所在的当前目录ZOOKEEPER日志文件日志目录下的zookeeker.out文件ZOOKEEPER数据目录/home/zjg/zookeeper/dataZOOKEEPER配置目录/home/zjg/zookeeper/confZOOKEEPER部署主机DRM006、DRM007、DRM008zookeeper集群间自动选举产生leader和

32、follower。问题，1选举策略是什么，2是否可以手动指定各zk节点的角色，3.是否可以手动切换3.2.1. Zookeeper安装1. 将安装程序拷贝到DRM006主机的/home/packet目录下2. 查看ZOOKEEPER_HOME变量是否为/home/zjg/zookeeper$ echo $ZOOKEEPER_HOME假设zjg用户下的/.bash_profile文件添加了这个变量的值，可能需要重新登录zjg用户，使环境变量重新被加载。3. 解压zookeeper的tar包$ tar *vf zookeeper.tar -C $ZOOKEEPER_HOME4. 重命名文件 $ m

33、v $ZOOKEEPER_HOME/zookeeper $ZOOKEEPER_HOME3.2.2. Zookeeper配置不完整，仅有根本参数说明，日后需要补充1. 创立ZOOKEEPER数据目录/home/zjg/zookeeper/dada$ mkdir /home/zjg/zookeeper/data2. 拷贝$ZOOKEEPER_HOME/conf/zoo_sample.cfg到$ZOOKEEPER/conf/zoo.cfg，并修改配置。3. 配置参数说明参数名称实际参数值描述tickTime10000CS通信心跳数Zookeeper 效劳器之间或客户端与效劳器之间维持心跳的时间间隔，

34、也就是每个 tickTime 时间就会发送一个心跳。tickTime以毫秒为单位。initLimit10LF初始通信时限集群中的follower效劳器(F)与leader效劳器(L)之间初始连接时能容忍的最多心跳数tickTime的数量。syncLimit5LF同步通信时限集群中的follower效劳器与leader效劳器之间请求和应答之间能容忍的最多心跳数tickTime的数量。dataDir/home/zjg/zookeeper/data数据文件目录Zookeeper保存数据的目录，默认情况下，Zookeeper将写数据的日志文件也保存在这个目录里。dataLogDir未设置日志文件目录Z

35、ookeeper保存日志文件的目录。clientPort9501客户端连接端口客户端连接 Zookeeper 效劳器的端口，Zookeeper 会监听这个端口，承受客户端的访问请求。minSessionTimeout10000最小超时ma*SessionTimeout100000最大超时server.1=192.168.56.136:9502:9503server.2=192.168.56.137:9502:9503server.3=192.168.56.138:9502:9503效劳器名称与地址：集群信息效劳器编号，效劳器地址，LF通信端口，选举端口这个配置项的书写格式比较特殊，规则如下：其

36、中N表示效劳器编号，YYY表示效劳器的IP地址，A为LF通信端口，表示该效劳器与集群中的leader交换的信息的端口。B为选举端口，表示选举新leader时效劳器间相互通信的端口当leader挂掉时，其余效劳器会相互通信，选择出新的leader。一般来说，集群中每个效劳器的A端口都是一样，每个效劳器的B端口也是一样。但是当所采用的为伪集群时，IP地址都一样，只能时A端口和B端口不一样。注意：IP不能为主机名称，不识别引脚1. 这个里面有更详细的，日后补充到这个表中2. nileader.blog.51cto./1381108/1032157 包含zk的部署、配置、监控、运维等一些说明3.2.3

37、. 复制zk到其他主机上命令$ for i in seq 7 8; do scp -r $ZOOKEEPER_HOME DRM00$i:$ZOOKEEPER_HOME ; done3.2.4. 设置myid在zoo.cfg 配置的dataDir目录/home/zjg/zookeeper/data下创立myid文件，文件中写入该主机在zoo.cfg配置信息server.id=host：port1：port2项中对应的数字id。我这里的zk集群的对应关系是：192.168.56.136 1192.168.56.137 2192.168.56.138 3目前个人部署的单个终端操作过程1.在当前的DR

38、M006主机创立myid文件$ echo 1 /home/zjg/zookeeper/data/myid 2.查看$ cat /home/zjg/zookeeper/data/myid 3.切换到DRM007主机$ ssh drm0074.在DRM007主机创立myid文件$ echo 2 /home/zjg/zookeeper/data/myid5.查看$ cat /home/zjg/zookeeper/data/myid6.退出DRM008主机$ e*it6.切换到DRM008主机$ssh drm0087.在DRM007主机创立myid文件$ echo 3 /home/zjg/zookee

39、per/data/myid8.查看$ cat /home/zjg/zookeeper/data/myid10.退出DRM008主机$ e*it这个过程比较繁琐，其实可以写了脚本进展自动化操作，待日后补充这个脚本。3.3. HadoophadoopHADOOP_HOME/home/zjg/hadoopHADOOP日志目录/home/zjg/hadoop/*/logsHADOOP数据目录/home/zjg/hadoop/*/tmpHADOOP进程号目录/home/zjg/hadoop/*/pidsHADOOP配置目录/home/zjg/hadoop/etc/hadoopJournalnode信息目

40、录/home/zjg/hadoop/*/jnHADOOP部署主机namenode节点2个 (DRM006、DRM007)Datanode节点3个(DRM006、DRM007、DRM008)3.3.1. Hadoop安装1. 将安装程序hadoop-2.7.1.tar.gz拷贝到DRM006主机的/home/packet目录下2. 查看HADOOP_HOME变量是否为/home/zjg/hadoop$ echo $HADOOP_HOME假设zjg用户下的/.bash_profile文件添加了这个变量的值，可能需要重新登录zjg用户，使环境变量重新被加载。3. 解压hadoop的tar包$ tar

41、 *vf hadoop-2.7.1.tar.gz -C $HADOOP_HOME4. 重命名文件 $ mv $HADOOP_HOME/hadoop-2.7.1 $HADOOP_HOME3.3.2. Hadoop配置不完整，仅有根本参数说明，日后需要补充1. 用户环境变量配置已在3.1.9章节进展设置2. 配置hosts文件已在3.1.1章节进展设置3. hadoop-env.sh文件配置Hadoop环境设置的脚本，由于它本身并没有引用当前用户的环境变量，所以一些环境变量需要在这个脚本里指定好，影响到整个hadoop的运行。这里我先写必要的基于本人所搭建的根本配置参数，其他的参数及说明日后待补充

42、。参数名称实际参数值描述JAVA_HOME/usr/javaJava的home目录HADOOP_HOME/home/zjg/hadoophadoop的home目录HADOOP_CONF_DIR$HADOOP_HOME/etc/hadoopHadoop的配置文件目录HADOOP_CLASSPATH默认值，未修改HADOOP_HEAPSIZE1000堆栈大小HADOOP_OPTS默认值，未修改hadoop根本设置HADOOP_NAMENODE_OPTS默认值，未修改namenode根本设置HADOOP_DATANODE_OPTS默认值，未修改datanodeHADOOP_SECONDARYNAME

43、NODE_OPTS默认值，未修改HADOOP_NFS3_OPTS默认值，未修改HADOOP_PORTMAP_OPTS默认值，未修改HADOOP_CLIENT_OPTS默认值，未修改HADOOP_SECURE_DN_USER默认值，未修改HADOOP_LOG_DIR$HADOOP_HOME/*/logs日志目录一般需要将其配置到一个磁盘空间比较大的目录下HADOOP_SECURE_DN_LOG_DIR默认值，未修改HADOOP_PID_DIR$HADOOP_HOME/*/pids进程号管理目录默认在/tmp下，但这个默认目录不靠谱HADOOP_SECURE_DN_PID_DIR默认值，未修改HA

44、DOOP_IDENT_STRING默认值，未修改LD_LIBRARY_PATH$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native/:$HADOOP_HOME/share/hadoop/mon/lib库路径参考的手册及实验室环境的hadoop配置进展设置的要点：存配置，HADOOP_HEAPSIZE是指定hadoop堆可用的最大值，HADOOP_NAMENODE_OPTS、HADOOP_DATANODE_OPTS这两个参数红色字体局局部别指定了namenode和datanode进程使用的堆存大小，包含在HADOOP_HEAPSIZE中。这几个参数需要根据机器配置进展

45、调整，我这里由于本身虚拟机的配置不高，所以，仅仅设置了总大小，对于namenode及datanode的存没有进展分配。4. core-site.*ml文件配置namevalue描述fs.defaultFS指定了hdfs的文件系统名称描述集群中NameNode结点的URI(包括协议、主机名称、端口号)，集群里面的每一台机器都需要知道NameNode的地址。DataNode结点会先在NameNode上注册，这样它们的数据才可以被使用。独立的客户端程序通过这个URI跟DataNode交互，以取得文件的块列表注意：与旧版本的名称不一样/home/zjg/hadoop/*/tmp数据目录hadoop文件

46、系统依赖的根底配置，很多路径都依赖它。如果hdfs-site.*ml中不配置namenode和datanode的存放位置，默认就放在这个路径中DRM006:9501,DRM007:9501,DRM008:9501zookeeper客户端连接地址指定了用于hadoop namenode失效切换的zookeeper集群信息，填写格式ip:port，多个主机之间以逗号分隔。配置值与zookeeper安装部署保持一致没写，未设置hadoop的数据压缩方式没写，未设置native库可用激活没写，未设置用户组hadoop. .staticuser.use没写，未设置用户5. hdfs-site.*ml文件

47、配置namevalue描述dfs.nameservicesns1集群效劳名称必须与core-site.*ml的域名保持一致nn1,nn2指定了集群效劳中用于namenode HA的节点名称DRM006:9000namenode节点nn1的节点及rpc通讯地址DRM007:9000namenode节点nn2的节点及rpc通讯地址DRM006:50070namenode节点nn1的节点及web页面的监听端口DRM007:50070namenode节点nn2的节点及web页面的监听端口dfs.datanode. .address没写，未设置没写，未设置dfs.journalnode. -addres

48、s没写，未设置qjournal:/DRM006:8485;DRM007:8485;DRM008:8485/ns1namenode元数据的存储目录/home/zjg/hadoop/*/jnJournalnode数据目录true指定了是否进展自动失效切换true表示激活此功能False表示不激活此功能指定了客户端用于HA切换的代理类。参数名称的ns1是dfs.nameservices指定了集群效劳名称sshfence指定了HA做隔离的方法，用于在Active节点切换期间的平安机制，确保在任何时间都只有一个NameNode处于活泼状态。配置为sshfence方式/home/zjg/.ssh/id_r

49、sassh密钥路径30000ssh连接超时设置没写，未设置没写，未设置没写，未设置没写，未设置没写，未设置dfs.permissions没写，未设置没写，未设置没写，未设置dfs.replication没写，未设置dfs.blocksize没写，未设置没写，未设置没写，未设置没写，未设置没写，未设置没写，未设置没写，未设置没写，未设置没写，未设置没写，未设置没写，未设置没写，未设置没写，未设置没写，未设置没写，未设置没写，未设置没写，未设置没写，未设置没写，未设置没写，未设置没写，未设置没写，未设置没写，未设置没写没写6. mapred-site.*ml需要以后补充我所部属的hadoop集群，

50、没有使用map reduce，假设使用，同时要修改mapred-env.sh文件7. yarn-site.*ml需要以后补充我所部属的hadoop集群，没有使用yarn，假设使用，同时要修改yarn-env.sh文件8. slaves文件配置/*slaves文件容*/DRM006DRM007DRM008/*/slaves文件中配置了hadoop集群所包含的所有datanode节点，每行对应一个主机名。9. 本地库拷贝这个native库使用失败，问题未解决现在e3base均使用CDH4.3.0版本进展部署，该版本中不包含压缩等本例库文件，需要从CDH4.1.2版本中将相关本地库拷贝到对应目录$H

51、ADOOP_HOME/lib/native。我所部属的没有使用这个。10. 创立所需目录$ mkdir /home/zjg/hadoop/*$ mkdir /home/zjg/hadoop/*/jn$ mkdir /home/zjg/hadoop/*/logs$ mkdir /home/zjg/hadoop/*/pids$ mkdir /home/zjg/hadoop/*/tmp11. 集群配置$ for i in seq 7 8; do scp -r $HADOOP_HOME DRM00$i:$HADOOP_HOME ; done3.4. HbasehbaseHBASE_HOME/home/

52、zjg/hbaseHBASE日志目录/home/zjg/hbase/*/logsHBASE数据目录/home/zjg/hbase/*/pidsHBASE进程号目录/home/zjg/hbase/*/tmpHBASE配置目录/home/zjg/hbase/confHBASE部署主机Master 1个节点 DRM008Thirter 3个节点 DRM006、DRM007、DRM0083.4.1. Hbase安装1. 将安装程序hbase-1.1.1-bin.tar.gz拷贝到DRM006主机的/home/packet目录下2. 查看HBASE_HOME变量是否为/home/zjg/hbase$ e

53、cho $HBASE_HOME假设zjg用户下的/.bash_profile文件添加了这个变量的值，可能需要重新登录zjg用户，使环境变量重新被加载。3. 解压hbase的tar包$ tar *vf hbase-1.1.1-bin.tar.gz -C $HBASE_HOME4. 重命名文件 $ mv $HBASE_HOME/hbase-1.1.1 $HBASE_HOME3.4.2. Hbase配置不完整，仅有根本参数说明，日后需要补充1. 用户环境变量配置已在3.1.9章节进展设置2. 配置hosts文件已在3.1.1章节进展设置3. hbase-env.sh文件配置Hbase环境设置的脚本，

54、由于它本身并没有引用当前用户的环境变量，所以一些环境变量需要在这个脚本里指定好，影响到整个hbase的运行。这里我先写必要的基于本人所搭建的根本配置参数，其他的参数及说明参数名称实际参数值描述JAVA_HOME/usr/javaJava的目录HADOOP_HOME/home/zjg/hadoophadoop的目录HBASE_HOME/home/zjg/hbaseHbase的目录HBASE_HEAPSIZE512默认1G，可根据主机存大小针对master和reginoserver不同主机配置不同的使用量，regionserver对存要求较高可配置高些。HBASE_MASTER_OPTS、HBAS

55、E_REGIONSERVER_OPTS这两个参数红色字体局局部别指定了master和regionserver进程使用的堆存大小，包含在HBASE_HEAPSIZE中。HBASE_OPTS默认值，未修改HBASE_MASTER_OPTS$HBASE_MASTER_OPTS -*:PermSize=128m -*:Ma*PermSize=128mMaster设置HBASE_REGIONSERVER_OPTS$HBASE_REGIONSERVER_OPTS -*:PermSize=128m -*:Ma*PermSize=128mRegion 效劳设置HBASE_THRIFT_OPTS$HBASE_T

56、HRIFT_OPTS -*m*128mThrift效劳设置设置thriftserver使用的存大小，在使用thrift进展读操作，且对读性能要求较高时可适当调高分配给thrift server的存使用量HBASE_LOG_DIR$HBASE_HOME/*/logs日志目录默认的设置是$ HBASE_HOME/logs，一般需要将其配置到一个磁盘空间比较大的目录下HBASE_PID_DIR$HBASE_HOME/*/pids指定的是Hbase进程id的存放路径。默认在/tmp下，不修改可能导致无常启停HBASE_MANAGES_ZKfalse指定是否使用hbase自带的zookeeper进展管理

57、集群，并在启动hbase之前自动启动zookeeper。配置为false。使用单独部署的zookeeper集群来管理hbaseLD_LIBRARY_PATH$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native/:$HADOOP_HOME/share/hadoop/mon/lib库路径HBASE_LIBRARY_PATH$HBASE_LIBRARY_PATH:$HBASE_HOME/lib/native/Linu*-amd64-64:$HBASE_HOME/libHbase库路径4. hbase-site.*ml文件配置namevalue描述hbase.rootdirhdfs:/ns1/hbase指定了hbase在hdfs下的根目录。配置为hdfs:/ns1/hbase，其中ns1对应hdfs配置文件core-site.*ml中集成名称保持一致60000指定了master的通信端口60010指定了master web 界面端口60021指定了regionserver的通信端口60030指定了regionserver web 界面端口true指定了hbase是否以分布式进展部署，配置为true，说明采用集群方式部署DRM006:9501,DRM007:9501,DRM008:9501指定了用于h