双机原理及应用

《双机原理及应用》由会员分享，可在线阅读，更多相关《双机原理及应用（18页珍藏版）》请在装配图网上搜索。

1、双机原理及应用1.1 双机的原理与结构1.1.1 关于集群的几个基本概念集群(Cluster)：一个计算机群，在一个集群中，以一个节点机充当集群管理者( ClusterMan ager)的角色，它最先收到用户发来的请求，然后判断一下集群中哪个节点的负载最轻，就把这个请求发过去。集群中的所有节点都会在本地内存中开设缓冲区，当一个节点需要使用其它节点内存中的数据时，这些数据会通过网络先放入本地缓冲区。在两个节点的集群中，如果一个节点失效了，另一个节 点可以通过检查缓冲区中的内容将失效节点的任务接管过去。 集群的分类 ：1、按应用目标可分为面向科学计算型或面向关键任务应用型高性能集群(high pe

2、rforma nee cluster)高可用性集群(high availability cluster)2、按组成集群的处理机类型小型机集群PC集群SMP (对称多处理器)集群3、按处理机操作系统AIX集群Linux集群Solaris 集群NT集群微软Wolfpack集群4、按处理机的位置和数量组集群，节点数量为299，通过SANs (系统级网络) 部门集群，节点数量为几十或几百 企业集群，节点数量为几百 集群节点(Cluster Node)：集群节点是同时运行 AXI 操作系统和 HACMP 软件的机器，它是集群的 当前成员(cluster member)，或者是潜在成员。集群节点一般连接着

3、一个或多个多主机磁盘。集群中的所有节点都会归组 到一个共用的名称下，即用于访问和管理集群的集群名称下(Cluster Name)。公共网络适配器将节点连接到公共网络，为客户机提供对集群的访问。集群成员通过物理上独立的一个或多个网络(称作private networks)与 集群中的其他节点通信。集群中的专用网络集称作 cluster interconnect。集群中的每一节点都会知道另一节点的加入或离开。另外，集群中的每一 节点还都会意识到本地运行的资源和在其他集群节点上运行的资源。确保同一集群中的各节点具备相似的处理、内存和 I/O 能力，以便可在保 持性能不变的情况下实现失败切换。因为存在

4、失败切换的可能性，所以应确保 每个节点都具有足够额外能力，能够承担它们所备份或辅助的所有节点的工作 量。 HA(High Availability)：高可用性， HACMP 将高可用性 (HA) 定义为集群使应用程序保持活动状 态并运行(即使发生通常会使服务器系统不可用的故障)的能力。 集群如何实现高可用性： 集群框架通过一个称为失败切换的进程，提供高可用性的环境。失败切换就是一系列由集群执行的步骤，它将应用程序从一个故障节点转移到集群上另 一个可操作节点。 HACMP：HACMP是IBM双机的高可用性管理软件，类似于SUN CLUSTER的一 种集群软件。通过心跳协议来监控处理器和网络接口，

5、心跳信号通过 TCPIP 以及 RS232同时传送。它提供了 clinfo编程接口，用于监测HACMP状态，华为HLR 中采用了 HACMP/ES(增强版本)。1.1.2 IBM双机的组成：所谓双机热备份就是一台主机为工作机(Primary Servdr，另一台主机为 备份机(Standy Server)，在系统正常情况下，工作机为信息系统提供支持，备 份机监视工作机的运行情况(工作机也同时监视备份机是否正常，有时备份机 因某种原因出现异常，工作机可尽早通知系统管理员解决，确保下一次切换的 可靠性)。当工作机出现异常，不能支持信息系统运营时，备份机主动接管(Take Over)工作机的工作，继

6、续支持信息的运营，从而保证信息系统能够不间断的 运行(Non-Stop)。当工作机经过修复正常后，系统管理员通过管理命令或经 由以人工或自动的方式将备份机的工作切换回工作机；也可以激活监视程序， 监视备份机的运行情况，此时，原来的备份机就成了工作机，而原来的工作机 就成了备份机。IBM 双机结构图如下所示：IBM双机中，选用HACMP软件对集群资源组进行管理，HACMP对资源组进行接管的方式有三种：层递式(Cascadi ng) 替换式(Rotati ng)同时存取(Co ncurre nt)层递式：1、主机A和主机B均被配置成资源组的成员2、主机A正常运行的情况下，它拥有最高的优先级按管资源

7、3、主机B处于备用状态，当主机A接管失败时主机B才接管资源4、当主机A重新加入聚群，主机B将释放控制权由主机A来按管5、主机A和主机B能够配置它们自已的资源组并且可以互为备份 替换式：1、主机A和主机B均被配置成资源组的成员2、先加入聚群的节点获取资源组的控制权3、另一个节点处于备用状态，当主节点运行异常时备节点获取资源控制权4、先前的主节点恢复正常，重新加入聚群，以备机状态运行，而不去获取 资源控制权同时存取式：1、不同的主机在同一时间访问相同设备上的数据2、由于 AIX 日志文件系统不支持同时访问，应用必须使用”原”逻辑卷（非 文件系统）方式来访问3、应用采用分布式的聚群锁管理来同步和更新

8、共享数据资源注：华为 HLR 采用了替换式的资源接管方式1.2 双机的配置HACMP 配置的步骤比较复杂，大致可以分为以下几步： 步骤一、集群计划步骤二、定义集群拓扑步骤三、同步集群拓扑步骤四、定义集群资源步骤五、同步集群资源步骤六、集群测试1.2.1 集群计划在进行双机配置之前，要对集群节点、集群网络、集群磁盘、资源计划、 应用计划、客户化计划、用户ID计划进行全面的规划。群集节点配置选择 ：每个节点最少32M内存，1GB硬盘。群集节点要求 ：需要考虑处理器能力能否满足应用的要求，业务预期增长,I/O槽是否充足。 节点对其联上的每个网络可有多达7 个的 Standby 网卡。 Sharevg

9、 做镜像时， 要考虑一台机器连接硬盘的两块I/O卡要在的不同总线。 群集网络分为ICP/IP和非TCP/IP两大类：TCP/IP网络和非TCP/IP网络。TCP/IP 网络：支持类型有 Gen eric IP, ATM, Ether net, FCS, FDDI, Sp switch 私有 （Private 网络）， SLIP， SOCC， Token-Ring。 HACMP 每个群集最多支持 支持32个网络每个节点最多支持24个网卡。各种类型的特性如下：ATM：点到点，和FCS、SP Switch都不支持硬件地址切换。SLIP： 一般不用，太慢。SOCC:很少用了，withdrawn。IP地

10、址接管：只有SP Switch可以用ifc on fig alias在一块卡上实现，其它 都需要两块卡。非 TCP/IP 网络：HACMP 可以不用非 TCPIP 网络仍可工作,但建议采用,以区分网络 （TCPIP）故障，还是节点故障（心跳线）。非 TCP/IP 网络支持类型 Serial （RS232） Target mode SCSI Target-mode SSA在 HA 的配置中，这三种 Network Type 都是 Serial。各种类型的特性如下：Seral： 双机时，只要一个串口，多机时，每节点要二个串口构成环； S7X 无串口，因此要订多口异步卡；SP的节点，多个串口只有一个

11、可用于HACMP；TM SCSI：只有 SCSI-2Diff 和 SCSI-2 Diff F/W 以后的卡支持；SCSI/SE 和 SCSI-21SE 不支持；建议一个群集中不要超过4个target mode SCSI网络；TMSSA：用 6215/6219 Enhanced RAID-5 以后的卡，支持 Multi-Initiator 特性。 群集磁盘SSA Disk ：分2种 7131 SSA Multi-Storage Tower Model 405 7133 SSA Disk Subsystem 010,500,020,600,D40,T40所有的 7133 都有可热插拔的冗余电源，风

12、扇，线也是热插拔的。7131， 7133的硬盘都是热插拔， 7131： 2-5个， 7133： 4-16个。 资源计划资源类型有：VG、Disks、FS、FS to be NFS mounted/exported、IP、APP源组选项分三类： Cascad ing Resource GroupsInactive Takeover 为真时，第一个启动的节点接管资源，随后加 入的如有更高优先级则接管。避免开机时，不必要的接管。Inactive Takover 为假时，第一个启动的节点不接管资源（除非 有最高级别）随后加入的如有更高优先级则接管。 Rotat ing Resource Groups先

13、加入的节点就得到资源，除非节点故障或人工要求接管，否则 不发生接管 Con curre nt Resource Groups这类资源不会发生接管，因为节点都可以访问到它们。资源一般指裸磁盘，有裸逻辑卷的vg,应用服务程序。 IP 地址接管网络拓朴： Si ngle Network：网络存在单点失败 Dual Network : Poi nt-to-Poi nt Network：网络两要素： 网络名：同一个物理网络用同一个网络名 网络属性：public公有：联结2-32个节点，允许client访问private私有:提供节点通讯，不允许client访问，但ATM和SP Switch允许 clie

14、nt 访问serial：心跳硬件地址交换：IP takeover 后，通过硬件地址交换，将 IP 地址和新网卡相联，不用专门去刷新 ARP Cache。 用户 ID 计划群集用户和组 ID ：管理员要保证各机的/etc/passwd和/etc/security/*的文件一致，可用 rdist 或 rcp 同步,SP 用 PCP 或 Super 同步C-SPOC(Cluster Single Point of Con trol)群集可自动同步(除/etc/security/ passwd)。群集密码：如果未采用NIS或DCE，即使是C-SPOC命令，也需要手工拷贝 /etc/security/p

15、asswd 文件到各机。用户 Home 目录计划：节点失败时，要保证用户的 Home 目录持续可用。 Home Dir放在Shared Volumes，这种方式的局限性是一个时刻， Home Dir 只对一台机器有效可用。 NFS-Mounted Home Dir，用户的 Home Dir 可以同时 mount 到 多台机器，但有风险，包含Home Dir的机器失败后，大家都访 问不到。 NFS-Mounted Home Dir on Shared Volumes，能解决上述问题， 当主机失败时，备机先 Break 它 mount 的主机 NFS 文件锁，再 umount NFS，取到 Sha

16、red Volumes，mount Shared FS,再给 用户提供服务。1.2.2 定义集群拓扑在定义集群拓扑之前，要保证设备软硬件正常，同时对网络进行测试，并 确保已完全正确安装了 HACMP软件包。通过 SMITTY 输入到 HACMP ODM 中，运行如下命令： #smitty hacmpHACMPMove cursor to desired item and press EnterCluster Con figurati onCluster ServicesCluster System Man ageme ntCluster Recovery AidsRAS SupportF1=H

17、elpF2=RefreshF3=Ca ncelEsc+8=lmageEsc+9=ShellEsc+0=ExitEn ter=Do在输出的 HACMP 窗口上选择 Cluster Configuration 域，进入到下一级子 项 Cluster Configuration。Cluster Con figurati onMove cursor to desired item and press EnterCluster TopologyCluster SecurityCluster ResourcesCluster Sn apshotsCluster Verificati onCluster C

18、ustom Modificati onRestore System Default Con figurati on from Active Con figurati onAdva need Performa nee Tuning ParametersF1=HelpF2=RefreshF3=Ca ncelEsc+8=lmageEsc+9=ShellEsc+0=ExitEn ter=Do要想对集群拓扑进行定义，您还要继续进入到下一级菜单ClusterTopology。Cluster TopologyMove cursor to desired item and press EnterCon fig

19、ure ClusterCon figure NodesCon figure NetworksCon figure AdaptersCon figure SitesCon figure Global NetworksCon figure Network ModulesCon figure Topology Services and Group ServicesShow Cluster TopologySyn chr onize Cluster TopologyF3=Ca ncelF2=RefreshEsc+8=lmageEsc+9=ShellEsc+O=ExitEn ter=Do 定义群集Clu

20、ster ID 199999 Cluster Name Up to 31 char 定义节点Node Name:群集中节点名按ASCII序排列，出于心跳目的，系统认 为相邻的节点名代表相邻的节点，最高和最低节点名也相邻，初始配置后， 也可以加或改变节点名，看HACMP管理资料。 定义卡：卡名Adapter IP Label：对应于每个IP地址的ASCII text描述。通过 Add an Adapter加入。名字中不要用“-”。因Clverify检验时会更花时间。IP/Adapter :对有 IP 地址的 Adapter，如按 IP Label 在 DNS 或 /etc/hosts中查不到，则

21、要在此给出IP地址。对RS232给出/dev/ttyN,对 tm scsi 给 出 /dev/tmscsiN ， 对 tmssa 给 出 /dev/tmssaN.im 或 /dev/tmssaN.tm硬件 Network TYPE：如 Serial(RS232), TmSCSI，TmSSA，Ether net 等。网名Network Name:每个物理网络给一个唯一网名。分类 Network Attribute： public：如 Ether net、Toke nRin g、FDDI、 SLIPprivate： 如 SOCC、ATM、SP Switchserial：如 RS232，tmSCSI

22、，tmSSA用途 Adapter Function： Service， standby， boot硬件地址 Adapter Hardware Address：适用于 Ether net、Token Ri ng、 FDDI，当定义Service adapter，且它有boot address，并且用到硬件地址 切换时，可指定其Hardware Address，其它情况不用。节点名Node Name:除了 service卡会共享于几个Node之间，其它 卡都可给于节点名。 配置网络模块 Network Modules:网络模块用于维护各自网络的连通性，当一定时间收不到心跳，可以 判定是网络失败。可

23、做配置的内容就是检测的敏感性。1.2.3 同步集群拓扑群集中定义做的任何修改，都要同步 如果是初次安装HA, cluster manager没有在本地（发同步命令的机器）运行，所有在默认配置目录中的 ODM 数据都被拷贝到其它节点，但如果其它 节点此时有运行Cluster manager则同步操作不能执行。两个同步选项： Ignore Cluster Verification Error: Yes/NO ，当选择 No,如果 Verification 有错，则不同步，可看errlog。 Emulate or Actual :是模拟还果真正同步。Syn chr onize Cluster Top

24、ologyType or select values in en try fields.Press En ter AFTER maki ng all desired cha nges.E ntryFieldsIgnore Cluster Verification Errors?No+* Emulate or Actual?Actual+* Skip Cluster VerificationNo+Note:Only the local nodes default configuration files keep the changes you make for topology DARE emu

25、lati on. Once you run your emulati on, to restore the orig inal con figurati on rather tha n running an actual DARE, run the SMIT comma nd, Restore System Default Con figurati on from Active Configuration.We recommend that you make a snapshot before running an emulati on, just in case uncon trolled

26、cluster eve nts happe n dur ing emulati on.NOTE:If the Cluster Man ager is active on this no de, syn chr onizing the Cluster Topology will cause the Cluster Manager to make any changes take effect once the synchronization has successfully completed.F1=HelpF2=RefreshF3=Ca ncelF4=ListEsc+5=ResetEsc+6=

27、Comma ndEsc+7=EditEsc+8=lmageEsc+9=ShellEsc+0=ExitEn ter=Do1.2.4 定义集群资源资源包括：Disks、VGs、FSs、Network Address、App servers。多个资 源构成资源组，和节点的关系有： cascading、 concurrent、 rotating。 配置资源组Add a Resource Group为资源组配置资源。#smitty hacmp增加资源组路径：HACMP Cluster Configuration ClusterResourcesDefi ne Resource GroupsAdd a R

28、esource GroupAdd a Resource GroupType or select values in en try fields.Press En ter AFTER making all desired cha ngesFields* ResourceGroupNameSZ_SMC_rg* Node Relati on shipcascad ing+* Participating Node Names / Default Node Priority SZ_IBM1 S乙 IBM2+IF1=HelpF2=RefreshF3=Ca ncelF4=ListEsc+5=ResetEsc

29、+6=Comma ndEsc+7=EditEsc+8=lmageEsc+9=ShellEsc+0=ExitEn ter=Do在 Resource Group Name 域输入资源组名称，Participating Node Names / Default Node Priority 域输入各节点名称，Node Relatio nship 即 资源接管方式有三种： cascading、 concurrent、 rotating。 配置 run-time 参数：配置 run-time 参数路径:HACMPCluster Configuration Cluster ResourcesCha nge/

30、Show Run Time ParametersChan ge/Show Run Time ParametersType or select values in en try fields.Press En ter AFTER making all desired cha nges.En try FieldsNodeNameSZBM1Debug Levelhigh+Host uses NISor Name Serverfalse+Formatting options for hacmp.outStan dard+F1=HelpF2=RefreshF3=Ca ncelF4=ListEsc+5=R

31、esetEsc+6=Comma ndEsc+7=EditEsc+8=ImageEsc+9=ShellEsc+0=ExitEn ter=Do配置 debug 级别:high:所有 cluster manager 行动被 logged。low:只有 error 被 logged。是否使用NIS或DNS。定义 APP Server配置 run-time 参数路径：HACMPCluster Configuration Cluster ResourcesDefine Application ServersAdd an Application ServerAdd an Applicati on Serve

32、rType or select values in en try fields.Press En ter AFTER making all desired cha nges.En try Fields*ServerNameSZ_SMC_app*StartScript/usr/es/sb in /cluster/smc/start.sh*StopScript/usr/es/sb in /cluster/smc/stop.shF1=HelpF2=RefreshF3=Ca ncelF4=ListEsc+5=ResetEsc+6=Comma ndEsc+7=EditEsc+8=lmageEsc+9=S

33、hellEsc+0=ExitEn ter=Do一般对应于一个script，注意路径名字，权限的一致。1.2.5 同步集群资源同步集群资源路径：HACMP Cluster Configuration ClusterResourcesS yn chr onize Cluster ResourcesSyn chr onize Cluster ResourcesType or select values in en try fields.Press En ter AFTER making all desired cha ngesFieldsIgnore Cluster Verification Err

34、ors?No+Un/Configure Cluster Resources?Yes+* Emulate or Actual?Actual+* Skip Cluster VerificationNo+Note:Only the local nodes default configuration files keep the changes you make for resource DARE emulation. Once you run your emulation, to restore the orig inal con figurati on rather tha n running a

35、n actual DARE, run the SMIT comma nd, Restore System Default Con figurati on from Active Configuration.We recommend that you make a snapshot before running an emulati on, just in case uncon trolled cluster eve nts happe n dur ing emulati on.F1=HelpF2=RefreshF3=Ca ncelF4=ListEsc+5=ResetEsc+6=Comma nd

36、Esc+7=EditEsc+8=lmageEsc+9=ShellEsc+0=ExitEn ter=Do对于集群资源所做任何修改，必须进行资源同步。第一次同步，所有节点要在它的boot地址上，否则/etc/不会修改未同步的节点，将不能加入群集。1.2.6 集群测试clverify 检查clerify命令用来校验HACMP软件安装和配置是否正确，集群配置是 否正确且一致。该命令仅次于/usr/sbin/cluster/diag/clverify,包括软件和群 集检查。# /usr/sbin/cluster/diag/clverifyTo get help on a specific opti on

37、, type: help To retur n to previous menu, type: backTo quit the program, type: quitValid Opti ons are:softwarecluster clverify help softwareVerifies that your software en vir onment is compatible with HACMPValid Opti ons are:lppclverify软件检测等价于命令Ippchk -v。集群检测等价于拓朴和配置检查命令smit clverify。初次启动测试判断 HA 是否启

38、动:用 ps 一e|grep clstr, Issrc -g cluster 或用 netstat-i 看 IP 是否在 boot address。启动 cluster: #smitty clstartStart Cluster ServicesType or select values in en try fields.Press En ter AFTER maki ng all desired cha nges.En try Fields* Start now, on system restart or bothnow+BROADCAST message at startup?true+S

39、tartup Cluster Lock Services?false+Startup Cluster Information Daemon?true+Reacquire resources after forced down ?false+F1=HelpF2=RefreshF3=Ca ncelF4=ListEsc+5=ResetEsc+6=Comma ndEsc+7=EditEsc+8=lmageEsc+9=ShellEsc+0=ExitEn ter=Do在每个节点都启动后，运行/usr/sb in/cluster/clstat命令看cluster状态。检査 takeover 和 reinte

40、gration进行停集群和接管测试。#smitty clstopStop Cluster ServicesType or select values in en try fields.Press En ter AFTER maki ng all desired cha nges.En try Fields* Stop now, on system restart or bothnow+BROADCAST cluster shutdown?true+*Shutdow nmodetakeover+(graceful or graceful with takeover, forced)F1=Help

41、F2=RefreshF3=Ca ncelF4=ListEsc+5=ResetEsc+6=Comma ndEsc+7=EditEsc+8=lmageEsc+9=ShellEsc+0=ExitEn ter=Do选择Shutdown mode域为takeover,然后在同一个切点运行smit clstart启动cluster，检查接接管是不成功。设备状态 检查通过以下命令对设备状态进行检查#errpt | more/该命令通过错误日志信息生成一份报告#errpt -a -j XXXXXX通过输入error_ids检查该项错误详细信息#lsdev -C | more 检查所有设备是否为可用状态#lsa

42、ttr -El scsi0 /检查 SCSl 地址是否唯一#sttyv/dev/tty#/(两机同时)检查心跳线(Serial RS232)系统参数检查#date/检查系统时区设置#lslicense检查固定license数量和浮动license状态#smit chgsys/检查高水平线参数配置#sysdumpdev -l 和 sysdumpdev -e/确认 dumpspace 是否正确#lslv hd6主dump足够大，Dump dev不镜像.进程状态#lsps -a查看 pag ing space#vmstat 2 5是否 runqueue5 且 cpu 不忙网络状态#ifconfig

43、lo0，ifconfig en0，ifconfig en1 /检查网卡配置#netstat -i 或 netstat -in 网络配置#netstat -v ent0|more/看替代的 MAC 地址#netstat -m | more/关注被拒绝的情况#netstat -r或netstat -ran查看看路由信息#no -a | more/查看 ipforwarding 和 ipsendredirects#arp-a/查看地址解释状态#lssrc -g tcpip查看TCPIP组中所有子系统实例状态LVM状态#lsvg-L/查看 VG#df -k/文件系统 mounted，rootvg 下文

44、件系统有空间#lspv/PVid是否设好，且无ghost盘#lsfs/查看文件系统属性群集状态运行下列命令对集群状态进行检查#lssrc -g cluster，lssrc-g lock/看群集的 daemon#/usr/sbin/cluster/clstat/群集和网络接口状态#tail-f /tmp/hacmp.out/查看日志信息#more /usr/sbin/cluster/history/cluster.mmdd /查看当前 时间#tail -f /var/adm/cluster.log查看 cluster 日志#odmget HACMPcIuster查看节点名#/usr/sbin/cluster/diag/clconfig -v -tr/检查群集配置#/usr/sbin/cluster/utilities/cllscf/看群集配置#snmpinfo -m dump -o /usr/sbin/cluster/hacmp.defs clstrmgr/查看 clstrmgr 版本