hadoop配置中常见问题

《hadoop配置中常见问题》由会员分享，可在线阅读，更多相关《hadoop配置中常见问题（3页珍藏版）》请在装配图网上搜索。

1、（一）ssh登录无法登录解决办法：配置ssh无密码登录，然后利用ssh的用户来进行登录，不要使用非ssh用户登录。（二）scp-rid_rsa.pub无法复制解决办法：无法网络复制，主要原因是ssh中的etc/ssh/sshd_config中的PasswordAuthenticationno改为PasswordAuthenticationyes然后用要复制的用户密码登录，就可以。（三）在安装Hadoop软件的时候，要注意：请使用Hadoop用户登录来安装，以防安装完成后配置有问题。（四）修改的hadoop几个文件几个文件分别是：masters、slaves、hadoop-en.sh、core-

2、site.xml、hdfs-site.xml、mapred-site.xml。修改的格式分别是：1. Masters/设置master的机器名或IPmasterSlaves/设置slave的机器名或IPslave1slave2slave3hadoop-en.sh/设置本机的java安装的目录添加一句:exportJAVA_HOME=/usr/java/jdk_2. core-site.xml/设置本机的namenode的端口号和临时文件的目录fs.default.namehdfs:/172.17.1.242:9000hadoop.tmp.dir/home/hadoop/tmp/hdfs-sit

3、e.xml/设置hadoop数据备份的数量，例如为2。还有namenode的name持久文件和datanode的data持久文件、以及通过的http的地址。dfs.replication2dfs.name.dir/home/hadoop/name/dfs.data.dir/home/hadoop/data/dfs.http.address172.17.1.242:50070mapred-site.xml/设置hadoop的jobtracker的运行端口mapred.job.trackerhdfs:/master:9001/（五）利用hadoopnamenode-ormat命令格式化nameno

4、de时有错误。现象：此错误在执行完命令之后，不易看出，可以在中的日志文件中看到namenode的log日志文件。里面会出现FSnameSysteminitializationfailed和namenodeisnotformated错误解决办法：我们在格式化namenode之前，不要建立的name目录和tmp目录，因为hadoop启动的时候会自动创建，否则会出错。只要将先前有创建的name和tmp目录删除就可以了。（六）利用start-all.sh命令启动hadoop时候出现多种问题（六1）如果是使用hadoop用户执行此命令时，可能会出现的问题是：/logs/权限不够Slave2:mkdir/

5、home/hadoop/hadoop-0.20.2./logs/.权限不够解决办法：卸载hadoop，然后注销，使用hadoop用户登录，再一次安装hadoop,然后再配置hadoop文件。重新执行命令，但是在执行这些命令时候，要保证master和slave各机子都安装了hadoop，也进行了相关的配置。（六2）如果使用root用户来执行此命令，可能会出现的问题：Slave1：permissiondenied（就是权限被拒绝）Slave2：permissiondenied解决办法：由于使用start-all.sh命令是要使用ssh的通道，所以不能使用root用户来进行配置，要使用hadoop的

6、有配置ssh的用户来进行执行上述命令（六3）如果执行成功的时候，会显示以下内容常和口购口1口血|losingto加車时/h剎oopirMall/hMo叩加畋JI呼/hddo附啣细严砧mlpnodoutnlpraodelwlcowtovfrti5*rernlpnodekTtiepurposeofthenodeistorunthlatssystfnisonlarge-scale曲竹.出灯operationsthmreuirdiareiwtlIImI.问吐：starting血Un血I轉何力人0伽袖他炯俪竹11加愉耐讪/呼加冏卿嘶鈕朗(血轴减1皿MpiiodJ;barring皿烦慎硕匝gm/bor啣皿

7、佝000阳丸11加0附用in.1邨加曲即帼卩咆-域和田呵帧血1眦nlpoodel:startinj宿tin血I疝旳to昭甘叫MMdoopin曲胸喇怖峽庾加呷皿由(血的鹹8誠Tilfmode?:Orting5厲砒町11義110枫1翊ingto/hon哪ed/h血叩血刼】1什血即/倫/耶加如片邱血-取0(11如1附映-讪腕de?,outstardMjobtridcy側的to加嶽/螂rM/hMoopirmll/bado/biM/l娜/hdMoiHHp泌jobtrac加MpnodM.oitnlpiodel:telcoflieu耻tel即npnodeLThepurposeofthenodeistorun

8、tklabssystemsonlarge-scaletatiStlieropefitiw$thanrHeirchartMt训胡”，nlpnodti.:startingtktrachr,loggingto/hoae/iapred/hadtHpinbl1/hutup/hin/./lop/hadoop-iaprFd-tktrackfmipnodel.outjnlpnodd:血仕阪沁讹眦1扁俺te/hMefiai)red/h血确仍tdl/h血枷人丿陥血喻即-同皿诚t欣u恤曲.wtnlpnotj配世tingt松比澀跑轡冋to/lw/iaireJ/hainQ|iiiBMll/liiA卿恤人川呼/hajnc

9、pwpredtasktrari卧nlpnWout而且使用jps命令查看启动进程可以看到Namenode、datanode、jobtarcker、tasktarcker、jps、secondnamenode六个进程女口果你只看至UNamenode、jobtarcker、jps、secondnamenode这四个进程，而且slave各机子中的datanodelog没有出现错误，也是可以的。然后你可以使用netstat-nl命令来查看端口的运行情况查看90009001、50070、50030四个端口是否在运行用然后在浏览器上输入和可以看到namenode和jobtarcker的管理页面，则成功，但是

10、还要进行其他相关的测试。（七）Jps命令找不到解决办法：在安装好后运行jps,报错为bash:jpscommandnotfound,仔细查看才知道，原来jps是jdk中bin目录下的一个可执行的文件，类似于javac,那么这就不难找到错误，既然找不到就说明不认识路，那问题的所在就直指环境变量了。最后果然是一开始配置的环境变量出问题了。如果按上面配置就不会错了。Linux中的环境变量为系统或应用程序调用系统的可执行文件指明了路径，而/etc/profile里的环境变量的配置是为整个系统（包括root和其他用户）提供了整体路径指示。针对不同的用户在他们各自的主目录下（即/home/uesrname）的隐藏文件.bash_profile和.bashrc为他们的用户自己也设定了环境变量。为保险和效率更高起见，以上三个文件全部设好环境变量。在以后针对这样设置可能存在的（安全）等问题在做取舍。修改好以上文件后需重启或重新登录才可生效，也有个办法就是利用source/etc/profile命令可使其不用重启或重新登录就生效。