ClouderaManager大数据平台部署指南

《ClouderaManager大数据平台部署指南》由会员分享，可在线阅读，更多相关《ClouderaManager大数据平台部署指南（16页珍藏版）》请在装配图网上搜索。

1、部署指南 Cloudera Manager CDH官方共给出了 3 中安装方式。第一种方法必须要求所有机器都能连网，由于 各种网络超时错误，基本没法用。第二种方法使用CM的在线yum源，在线下载很多包，同样是超时严重。 第三种方法是全离线方式， 实际情况是也只能用这个。1、Cloudera Manager 的部署条件? CDH 不支持在容器中部署。? 支持Oracle JDK7,目前可使用的最新版本为1.7u80，及以上版本也支持使用oracle JDK8,同一个CDH集群中的所有节点使用的JDK版本必须一致。? 使用 Python2.4 及以上，不支持 Python3? 仅支持IPv4，且I

2、Pv6必须要disabled? 基于tar压缩包的离线安装方式，会在中停止支持该方式。? 支持selinux，但如果不熟悉使用方法，建议关闭。? 管理端口为 7180，此外还有很多基础应用使用的端口，可以运行iptables，需要确认有恰当的授权控制，例如至少要对同网段的访问放开全部端口。2、Cloudera Manager 部署的几个阶段和可选择的方式Phase 1: Install JDKInstall the JDK required by Cloudcra Manager Server, Management Sei vice, and CDH.Phase 2: Set upDa La

3、 bases Install configure, and start the databases that are required by the Cloudero Manager Ssji vet, Cloudera ddriagerrinnl Service, Hnd That are opTionfil for some CDH services.Cioudcra ins tollation PhasesPhaseThere are two options: Use the Ooudera Manager Instailer to install a supported version

4、 of the Oracle JDK in 丿3匸/二uennd on all hosts in the dustor. Uso th。connmarid lino to martially install supported versions of ths Oracle JCK and set t*ie j=l7a hqmi environment variable to the iretail directory on all hostsThere are two options: Use the ClouderaInstaller lo install configure, and st

5、art anei 11 bedded PoslgrssSOL database.* Use comnand-line package installation tools like yumto irstall, configure, and install the databasePhase 去 InslallCloudefd MaiMgerServerInstall and start Cloudera Manager Server on onm host.Phase 牟：Install Cloudcra ManagerInstall and siarl. the Cloudera Mana

6、ger Agent on dll hosts.Path APath BPathCUse the ClouderaManayttr Inslaller to install its packages and the server RequirBS Intfirnet access and Eudo privileges on the hostUse Linux package install commands (like yunj to install Ckxidera Maragar Server Update database properties.Use service commands

7、to start Cloudera Manager Server.Linux commands to unpack tarballs and service commands to start the server.Use the Cloudero Manager Instalktion wizard to install the AgtsiiLs on dll hosts.There are two options:* Use Linux package install commanda (like 7) to install Cloudera Managti Agents on all h

8、oses.Use Linux commands to unpack tarballs and ber vice coinrnands to start if e aqnis on all hosts. Use the Cloudera Manager Installation wizard to install the Agents on all hosts.Ptiase 5: InsiallCDH and Managed Service softwareInll, configure, And start CDH and managed services on all host?.Use t

9、he Cloudera Manager Installation wizard to install CDH and nthsr msnagerf services.Thefe are two options: Use the Cloudera Maridijer trblalldUori wizard to install CDH And other managed services Use I inux package install commands Qilc旧to install CDH and other managed services on ell hostsUse Linux

10、commands to unpack tarballs and service commands to Rtart CDH词nti m罚旳開 services on all hosts.PiMMS C: Ciedle, Configuie arid Start CDH 目 ndSei vicesConfiqure and sian CDH and niaridijed services.Usu the Cluudef dManager Installatiuii wizard to install CDH and olliei services, assign roles io and con

11、figure lhe cluster. Manv configurations are automated.Use the Clouderd IVandyer Insidllatiui 1 wizard ic install CDH and olhef liaridged services.日Esiqn roles To hosts, ar kJ confiyuie the cluster. Many configurations are automated.Use the Cluddera Manager Installatiun wizard to install CDH and ulhe

12、r rnandqed services, assiqn roles 10 hosts, and configuie the duster. Many confiQurations are automated.You can also use tfie Cloudera Manager API to manage a cluster, which ran he useful for scripting preconfigured deplo/msnts.注：因为Cloudera Manager的官方yum源位于国外，受网速影响而无法正常使 用。所以上述部署方式中，一般是使用 PATH C或者在预

13、先下载好相关 RPM包 的条件下参照PATH B方式。3、主机节点信息和基础配置（1）主机信息本次部署使用以下主机，前两个作为 NameNod使用。后四个主机，分别额 外挂载一块1TB的磁盘到本地的/dfs/dn目录下。注1:用于大数据平台的数据磁盘不要配置 RAID,直接裸盘即可。如果有RAID 控制器，则直接对每块盘设置一个单独的RAID0仍然当作单盘使用。注2：在有第二块数据盘的情况下，继续挂载到/dfs/dn2，更多的数据盘则 按命名规则和挂盘规则扩展即可。注3:对于生产环境而言，NameNod所在的节点一般不要同时做数据节点使 用。而且NameNod所在主机的磁盘需要配置适当的 RA

14、ID保护级别，以提高可靠 性。注 4：对于 DataNode 所在的主机节点， 建议系统盘和数据盘完全隔离开， 然 后系统盘使用两磁盘配置为RAID1以提高可靠性。虽然数据节点是冗余的，挂一 个也不影响CDH平台运行，但修起来还是很麻烦啊。cluster-70cluster-71cluster-72cluster-73cluster-74cluster-75操作系统全部使用 CentOS 6.9 Minimal 安装。将全部主机的主机名设置好， 并将以上映射关系写到每个主机的 /etc/hosts 文件中。（2）免密登录在 cluster-70 节点上制作 ssh 密钥： ssh-keygen

15、将该密钥分发至其它各节点，以实现免密钥登录，如： ssh-copy-id cluster-71（ 3） selinux 和 iptables所有节点配置为关闭 selinux 。所有节点的 iptables 设置为对同网段地址放开全部端口的访问权限。（4）系统性能参数调整中即可。cat /etc/sysctl.confvm.swappiness = 0 = 1 = 1 = 1024 65000EOFsysctl -pecho never /sys/kernel/mm/transparent_hugepage/defrag echo never /sys/kernel/mm/transparen

16、t_hugepage/enabled cat /etc/rc.localecho never /sys/kernel/mm/transparent_hugepage/defrag echo never /sys/kernel/mm/transparent_hugepage/enabled EOF4、安装 JDK下载并分发 Oracle JDK 安装包至所有节点，执行安装和配置命令。rpm -ivh jdk-7u80-linux-x64.rpm 直接刷下面脚本完成配置： cat CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

17、export JAVA_HOMEexport PATHexport CLASSPATHEOFsource /etc/profile以上JDK配置，需要在每个节点上都处理5、安装和配置数据库主要有以下业务会使用到数据库服务：Cloudera Manager ，存放各种服务、配置数据，空间大约100MB ，很重要，应经常备份 ；Oozie Server - Contains Oozie workflow, coordinator, and bundle data. Can grow very large.Sqoop Server - Contains entities such as the co

18、nnector, driver, links and jobs. Relatively small.Activity Monitor - Contains information about past activities. In large clusters, this database can grow large. Configuring an Activity Monitor database is only necessary if a MapReduce service is deployed.Reports Manager - Tracks disk utilization an

19、d processing activities over time. Medium-sized.Hive Metastore Server - Contains Hive metadata. Relatively small.Hue Server - Contains user account information, job submissions, and Hive queries. Relatively small.Sentry Server - Contains authorization metadata. Relatively small.Cloudera Navigator Au

20、dit Server - Contains auditing information. In large clusters, this database can grow large.Cloudera Navigator Metadata Server - Contains authorization, policies, and audit report metadata. Relatively small.（ 1）因为准备使用 cluster-70 作为 NameNodeMaster ，所以把 mysql 数据库安 装在 cluster-71 上面 ，以分散下风险。登录 cluster-7

21、1 ，然后使用任一种自己熟悉的方式把 mysql 数据库安装好即 可： yum install mysql-server mysql chkconfig mysqld on service mysqld start 完成数据库初始化： /usr/bin/mysql_secure_installation（2）优化数据库配置 service mysqld stop 将旧的 InnoDB log 文件移走：/var/lib/mysql/ib_logfile0 and /var/lib/mysql/ib_logfile1 out of /var/lib/mysql/参照下面调整f参数，以更适合CDH

22、R务使用： mysqld datadir=/var/lib/mysql socket=/var/lib/mysql/mysql.sock user=mysql# Disabling symbolic-links is recommended to prevent assorted security riskssymbolic-links=0 transaction-isolation = READ-COMMITTED key_buffer_size = 32M max_allowed_packet = 32M thread_stack = 256K thread_cache_size = 64

23、query_cache_limit = 8M query_cache_size = 64M query_cache_type = 1 max_connections = 550 #binlog_format = mixed read_buffer_size = 2Mread_rnd_buffer_size = 16M sort_buffer_size = 8M join_buffer_size = 8M # InnoDB settings innodb_file_per_table = 1innodb_flush_log_at_trx_commitinnodb_log_buffer_size

24、= 64M innodb_buffer_pool_size = 2Ginnodb_thread_concurrency = 8 innodb_flush_method = O_DIRECT innodb_log_file_size = 512Mmysqld_safe log-error=/var/log/mysqld.log pid-file=/var/run/mysqld/mysqld.pid sql_mode=STRICT_ALL_TABLES启动mysql，如果有报错，可根据日志信息排查3）创建需要使用的几个库I RoleDatabaseUserPassword1Activity Mon

25、itoramonamonamon_pa$;wordRepcrts Managerrmanrmanrman_passwordHive Metastore Servermetastorehivehive_pasewordSentry Serversentrysentrysen try_pa sswordCloudera Navigaior Audit Servernavnavnav.passwordCloudera Naviyato Metadata Serverravmsnavmsna v ms_pa55wordcreate database database DEFAULT CHARACTER

26、 SET utf8;grant all o n database.* TO user% IDENTIFIED BY password;注：在部署中发现hive , oozie使用的库需要使用latin字符集，否则在启动服 务时日志中会报错创建索引时超长度限制。（4）安装程序驱动包 mysql jdbc driver总计有以下角色所在的主机需要安装这个驱动包。 如果你把以下角色都部署 在一个主机节点上，那就只需要安装一个节点的驱动，否则就需要各节点都部署 一下。Cloudera Manager Server host,ActivityMonitor. Reports Manager, HiveM

27、etastore Server, Hue Server, Sentry Server, Cloudera Navigator Audit Server, and Cloudera Navigator Metadata Server从以下网址下载需要使用的驱动包:tar -zxvfmysql-c onn ector-java-mkdir -p /usr/share/java/cp mysql-connector-java- /usr/share/java/mysql-connector-java.jar6配置NTP时间同步服务在所有节点上安装和启用。如果是内网环境，也需要另想办法保证所有节点 的

28、系统时间严格同步。yum -y install ntpservice ntpd restartchkconfig ntpd on注：请选择一个节点做为 ntp server 直接和外部时间服务器同步，其它所 有节点均配置 /etc/ntp.conf ，将同步的 server 信息指向前面这个节点即可。7、安装 Cloudera Manager Server 软件我们选择把 Cloudera Manager Server 部署在 cluster-70 节点上。（1）下载和分发安装资源cloudera manager 下载地址：/cm/5/cdh parcels 下载地址：/parcels/wge

29、t -c /cm/5/cloudera-manager-el6-wget -c /parcels/5.12/CDH-wget -c/parcels/5.12/CDH-wget -c/parcels/5.12/manifest.json变更为sha,否则上传到系统中后，CDH平台反而会说找不到sha文件。将 cloudera-manager-el6- 文件放到所有节点的 /opt/cloudera-manager 目录下。mkdir /opt/cloudera-managercd /opttar zxvf cloudera-manager-el6-（2）创建 CM Server 系统用户账号us

30、eradd -system -home=/opt/cloudera-manager/cm- -no-create-home -shell=/bin/false -comment Cloudera SCM User cloudera-scm（3）创建 CM Server 的本地数据存储目录登录 cluster-70 ：mkdir -p /var/lib/cloudera-scm-serverchown cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server（ 4）配置所有节点上的 Cloudera Manager Agentssed -i s

31、/server_host=localhost/server_host=cluster-70/ /opt/cloudera-manager/cm-（5）创建和初始化 CM Server 数据库我们的 mysql 数据库是安装在 cluster-71 上面，登录 cluster-71部署一个JDBC驱动包：cp mysql-connector-java- /opt/cloudera-manager/cm-初始化脚本语法如下：scm_prepare_database.sh database-type options database-name username password/opt/cloude

32、ra-manager/cm- mysql -hlocalhost -uroot -pHstest2017 scm scm scm屏幕输出信息：JAVA_HOME=/usr/java/Verifying that we can write to /opt/cloudera-manager/cm-Creating SCM configuration file in /opt/cloudera-manager/cm-Executing: /usr/java/ -cp /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle- co

33、nnector-java.jar:/opt/cloudera-manager/cm-/opt/cloudera-manager/cm- main DbCommandExecutor INFO Successfully connected to database.All done, your SCM database is configured correctly!登录mysql，增加一条对CM Server主机的访问授权：grant all on scm.* TO scmcluster-70 IDENTIFIED BY scm;登录 cluster-70 节点配置 CM Server 的数据库

34、配置文件：/opt/cloudera-manager/cm-需要根据实际情况更新以下参数。6）创建 CDH Parcel 资源目录在 cluster-70 节点上：mkdir -p /opt/cloudera/parcel-repo将以下已经准备好的 parcel 资源文件放入该目录：? CDH-? CDH-? manifest.jsonchown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo在其它所有节点上：mkdir -p /opt/cloudera/parcelschown cloudera-scm:cloudera-scm

35、 /opt/cloudera/parcels（ 7）启动 cloudera manager server and agents直接使用 root 运行启动脚本即可，脚本中已经默认设定为会切换到 cloudera-scm 用户运行进程。在所有节点上，先调整下文件属主权限：chown -R cloudera-scm:cloudera-scm /opt/cloudera-manager在 cluster-70 节点上启动 CM Server ：/opt/cloudera-manager/cm-start在所有节点上启动 CM agent：/opt/cloudera-manager/cm-start注

36、：在启动上面的服务时，注意检查进程是否运行，是否因报错退出。可以 检查 ././log/下面的日志文件，分析错误原因。8、登录Cloudera Manager管理控制台并配置 CDH服务访问以下地址：.70:7180/cmf初始管理账号信息为： admin/admin(1)登录后按提示操作，先是选择 license 许可，如果没采购企业许可， 就选免费版，继续。(2) 选择要加入CDH集群的主机，因为我们已经配置好 6台主机的访问关 系了，这 6 个主机会被自动识别出来，选中然后下一步。(3) 安装CDH服务的方式，选择使用Parcels，因为之前已经把离线安装资 源放到系统默认的路径下了，这

37、里会自动识别到，点击下一步将开始在CDH集群 各节点中分发所有需要使用的应用的 parcels 安装资源。( 4 )经过一个主机正确性检查的步骤，点击完成按钮。如果系统提示有参 数配置上的优化建议，遵照处理后重新做检验检查即可。(5) 选择一种集群服务组合，如果不确定哪个组合更合适，选择“全部服 务”也可以。(6) 进入集群角色分配环节，这一步比较关键，注意要把NameNod分配到 我们设计的cluster-70 节点，SecondaryNameNod分配到cluster-71 节点上。 注意调整HDFS的 DataNode角色，自定义分配到cluster-72 到cluster-75 这4

38、个节点上。 注意有多个服务的角色是还没有分配的， 请将这些角色统一都分配到 cluster-71 节点上即可，这样做是因为简化数据节点的角色和职责，便于维护，且 cluster-70 节点已经被默认分配了很多的角色了，也不适合再继续增加。(7) 下一步，进入数据库设置。按实际配置信息填写，然后下一步。(8) 进入审核更改环节，检查下 DataNode数据目录，设置为/dfs/dn ； NameNod的数据目录设置为/dfs/nn。这里要特别注意，如果给数据节点准备了 多块数据磁盘，要在这里定义更多的“ DataNode数据目录”，即按照/dfs/dn2, /dfs/dn3这样的规则继续增加即可

39、。前文已经说过，在数据节点有多块数据磁 盘时，按这样的规则挂载到系统中的。(9) 在进入下一步之前有一个细节非常重要，因为我们是使用的独立的数据磁盘，挂载到系统的/dfs/dn这样的路径下的。这个路径是我们手动创建的， 而非CDH服务自行生成，所以这个目录存在属主权限问题，会直接造成下一步骤 中的HDFS启动失败。请在所有的主机节点上面执行：chown -R hdfs.hadoop/dfs/d n(10) 点击下一步，即完成了所有配置任务，并进入了首次运行服务启动命令的环节。9、启动服务并解决各种问题? hive和solr服务在启动前，都需要先在cloudera manager管理平台上菜单中

40、点击库表数据初始化。? 在启动后发现hbase master角色无法启动，日志中报错“ Permissio nden ied: user=hbase, access=WRITE, inode=/:hdfs:supergroup:drwxr-xr- x”。解决办法为，在管 理平台上进入 HDFS的参数配置界面，找到dfs.permissions，设置为false。详细说明参见下面链接：/CDH-Ma nu al-I nstallati on/Permissio n-de nied-user-root-access-WRITE-i no de-quot-user-q uot/td-p/ 4943?

41、其它多个服务在启动过程中也或多或少遇到一些问题，但都不难解决，指导思想就是先看CDH管理平台上的报错信息、报错日志，再到系统的/var/log下查看下服务日志，基本上都能定位到问题的原因。大多数问题，都能在网上找到处理类似问题 的帮助资料。有几类常见问题：o 权限类问题，目录或文件属主设置不对;o 服务之间的访问权限，这些问题一般都可以通过直接在CDH管理平台上微调少量的服务配置参数解决;10、怎么增加更多的应用服务比如要增加KAFK服务先下载 parcel 资源文件：/parcels/latest/KAFKA-/parcels/latest/KAFKA-然后把以上两个文件放到 cluster-70 节点的 /opt/cloudera/parcel-repo 路径下。注意设置下文件属主，重命名下 sha 文件的后缀。最终登录CDH管理平台，从主机菜单中选择pacel菜单项，点击检查新parcel 资源。按提示操作，完成新 parcel 资源的分发和激活即可使用了。2017 年 8 月 11 日