多路径软件

《多路径软件》由会员分享，可在线阅读，更多相关《多路径软件（7页珍藏版）》请在装配图网上搜索。

1、多路径(multi-path)软件的介绍普通的电脑主机都是一个硬盘挂接到一个总线上，这里是一对一的关系。而到了有光纤组成的 SAN环境，由于主机和存储通过了光纤交换机连接，这样的话，就构成了多对多的关系。也就 是说，主机到存储可以有多条路径可以选择。主机到存储之间的10由多条路径可以选择，如下 图：厂ServerLhba 1hba 2Jcntrlr 1tfttrfr 2HWRA1DRAIDA根据上图所示，每个主机到所对应的存储可以经过几条不同的路径，如果是同时使用的话，I/O 流量如何分配？其中一条路径坏掉了，如何处理？还有在操作系统的角度来看，每条路径，操作 系统会认为是一个实际存在的物理盘

2、，但实际上只是通向同一个物理盘的不同路径而已，这样是 在使用的时候，就给用户带来了困惑。多路径软件就是为了解决上面的问题应运而生的。多路径 的主要功能就是和存储设备一起配合实现如下功能：1. 故障的切换和恢复2. I0流量的负载均衡3. 磁盘的虚拟化由于多路径软件是需要和存储在一起配合使用的，不同的厂商基于不同的操作系统，都提供了不 同的版本。并且有的厂商，软件和硬件也不是一起卖的，如果要使用多路径软件的话，可能还需 要向厂商购买license才行。比如EMC公司基于linux下的多路径软件，就需要单独的购买 license。好在，RedHat和Suse的2.6的内核中都自带了免费的多路径软件

3、包，并且可以免 费使用，同时也是一个比较通用的包，可以支持大多数存储厂商的设备，即使是一些不是出名的 厂商，通过对配置文件进行稍作修改，也是可以支持并运行的很好的。本文一下的部分将专门针对Linux下多路径软件的配置安装，以及一些结合实际的操作进 行详细的介绍(以下操作均在Suse10 SP1下进行)多路径软件包的构成device-mapper-1.02.13-6.9.i586.rpm该软件运行在底层，主要进行设备虚拟化和映射。multipath-tools-0.4.7-34.18.i586.rpm，这个软件包可以在多路径的管理和监控工具，主要进行路径状态的检测，管理工作多路径软件包的安装Rp

4、m -ivh device-mapper-1.02.13-6.9.i586.rpmRpm -ivh multipath-tools-04 7-34.18.i586.rpm安装完成后，使用命令modprobe dm_multipath来加载相应的模块，可以使用lsmod |grep dm_multipath来检查安装是否正常。配置文件的修改及创建接下来的工作就是要创建一个multipath.conf的配置文件，该文件在安装后不会自动创建。不 过有一个模板可以使用，使用如下命令可以创建一个multipath.conf的文件了cp/usr/share/doc/packages/multipath-t

5、ools/multipath.c onf.syn thetic/etc/multipath.conf然后再该文件的最后一段加上如下配置:devices device vendor productfailbackno _path_retry次数的数值rr_mi n_io请求的数目EMC 厂商名称CaXXXXX 产品型号 group_by_prio /默认的路径组策略/sbin/scsi_id -p 0x80 -g -u -s /block/%n / 获得唯path_group in g_policy getuid_callout一设备号使用的默认程序 prio_callout hardware_

6、ha ndler作的模块。path_checkerpath_selector/sbin/acs_prio_alua %d /获取有限级数值使用的默认程序1 acs /确认用来在路径切换和IO错误时，执行特定的操 hp_sw 决定路径状态的方法round-robin 0 /选择那条路径进行下一个IO操作的方immediate 故障恢复的模式queue /在disable queue之前系统尝试使用失效路径的100 在当前的用户组中，在切换到另外一条路径之前的10编辑modprobe.conf文件，用来设置驱动程序的参数。 /etc/modprobe.c onfo cal增加一行options s

7、csi_mod dev_flags=Accusys:ACS92102:0x1000重新编译引导文件cp -f /boot/initrd-2.6.kernel_version.img ./initrd-2.6.k_v.img.bak mki nitrd做完上述操作后，注意要将操作系统重新启动磁盘的分区及使用创建多路径设备的分区，这里主要一下，多路径的分区只适合使用kpartx工具，不要使用fdisk 进行分区。Step2, kpartx -l /dev/dm- 0Step3, kpartx -a /dev/dm-0/lists all partiti ons on this device/cre

8、ate all device node on this devicekpartx -a /dev/mapper/多路径的设备不可以使用fdisk进行分区，必须使用kpartx-a进行分区后，再进行格式化。查看映射关系Suse3:/sbin # ls -la /dev/disk/by-nam e/total 0drwxr-xr-x 2 root root 200 Aug 1 09:01 .drwxr-xr-x 7 root root 140 Jul 31 18:05 .lrwxrwxrwx 1 root root 10 Aug 1 09:01SAccusys_ACS92102_010c3b973

9、ffbc469ce11eb4d2db9d677 - ././dm-5 lrwxrwxrwx 1 root root 10 Aug 1 09:01SAccusys_ACS92102_010c3b973ffbc469ce11eb4d2db9d677-part1 - ././dm-7lrwxrwxrwx 1 root root 10 Aug 1 09:01SAccusys_ACS92102_1fbdf62d63e62b625aaea9eb8c7e45cf -././dm-4lrwxrwxrwx 1 root root 10 Aug 1 09:01SAccusys_ACS92102_1fbdf62d6

10、3e62b625aaea9eb8c7e45cf-part1 -././dm-6lrwxrwxrwx 1 root root 10 Aug 1 08:46SAccusys_ACS92102_6d71358b45505925b5bd17ff49d554f3 - ././dm-0 lrwxrwxrwx 1 root root 10 Aug 1 08:46SAccusys_ACS92102_6d71358b45505925b5bd17ff49d554f3-part1 - ././dm-1lrwxrwxrwx 1 root root 10 Jul 31 18:08SAccusys_ACS92102_f0

11、ade6db4a8d13de2c30fd5efae7b91c -././dm-2Irwxrwxrwx 1 root root 10 Jul 31 18:10SAccusys_ACS92102_f0ade6db4a8d13de2c30fd5efae7b91c -part1 - ././dm-3几个比较有用的命令1. start/stop multipathd process service multipathd start/stop2. display the multipath topology multipath -ll / 非常有用的命令。3. display the multipath

12、debug info multipath -v34.Sca n the HD fdisk -l5.view the FC wwn cat /sys/class/fc_host/host1/node_nam e 下面是举例：multipath -llSuccessful info:SAccusys_ACS92102_3a095edea90dc919f0da043d118fd8c5dm- 0Accusys,ACS92102size=20Gfeatures=1 queue_if_ no _pathhwha ndler=1 acs_ round-robin 0 prio=400active/表示当前的

13、正在使用控制器_ 1:0:1:0sdc8:32activeready_ 1:0:2:0sdd8:48activeready_ 2:0:1:0sdg8:96activeready_ 2:0:2:0sdh8:112activeready/c,d,g,h 可以理解为路径_ round-robin 0 prio=0enabled/ 备份控制器_ 1:0:0:0 sdb 8:16 activeghost_ 1:0:3:0 sde 8:64 activeghost_ 2:0:0:0 sdf 8:80 activeghost_ 2:0:3:0 sdi 8:128 activeghost / faulty i

14、nfo:sdc: checker msg is hp_sw checker reports path is down / 路径出现故障 sdd: checker msg is hp_sw checker reports path is down / 路径出现故障 sdh: checker msg is hp_sw checker reports path is down / 路径出现故障 SAccusys_ACS92102_3a095edea90dc919f0da043d118fd8c5dm- 0 Accusys,ACS92102size=20Gfeatures=1 queue_if_ no

15、_pathhwha ndler=1 acs_ round-robin 0 prio=0enabled /两个都是enabled 状态，一控制器故障, 另外一个控制器没有failover。_ 1:0:1:0 sdc 8:32 failedfaulty_ 1:0:2:0 sdd 8:48 failedfaulty_ 2:0:1:0 sdg 8:96 failedfaulty_ 1:0:0:0 sdb 8:16_ 1:0:3:0 sde 8:64_ 2:0:0:0 sdf 8:80_ 2:0:2:0 sdh 8:112 failedfaulty _ roun d-ro bin 0 prio=0e n

16、abled activeghost activeghost activeghost _ 2:0:3:0 sdi 8:128 activeghost控制器重新启动后，Suse有时候需要重新启动才可以使用。multipath -IISAccusys_ACS92102_3a095edea90dc919f0da043d118fd8c5dm- 0 Accusys,ACS92102size=20Gfeatures=1 queue_if_ no _pathhwha ndler=1 acsactiveready activeready activeready activeready_ roun d-ro bi

17、n 0 prio=200active_ 1:0:0:0 sdb 8:16_ 1:0:1:0 sdc 8:32_ 2:0:0:0 sdd 8:48_ 2:0:1:0 sde 8:64multipath的所有的相关的文件-rwxr-r-1 rootroot2554 Jun 30 16:26 /etc/init.d/boot.m ultipath-rwxr-r-1 rootroot3700 Jun 30 16:26 /etc/ in it.d/multipathddrwxr-xr-x2 rootroot0 Jun 30 16:26 /etc/udevdrwxr-xr-x2 rootroot0 Jun

18、 30 16:26 /etc/udev/rules.d-rw-r-r-1 rootroot1185 Jun 30 16:26/etc/udev/rules.d/71- multipath.rules-rw-r-r-1 rootroot262 Jun 30 16:26/etc/udev/rules.d/72-multipath-com pat.rules-rwxr-xr-x1 rootroot4872 Jun 30 16:26 /sb in/devmap _n ame-rwxr-xr-x1 rootroot22824 Jun 30 16:26 /sbin/kpart x-rwxr-xr-x1 r

19、ootroot1114 Jun 30 16:26 /sbin/kpartx_id-rwxr-xr-x1 rootroot296 Jun 30 16:26 /sbin/mpath_id-rwxr-xr-x1 rootroot8404 Jun 30 16:26 /sbin/mpath_prio_alua-rwxr-xr-x1 rootroot7852 Jun 30 16:26/sb in/mpath_prio_balan ce_ un its-rwxr-xr-x1 rootroot4208 Jun 30 16:26 /sbin/mpath_prio_em c-rwxr-xr-x1 rootroot

20、5492 Jun 30 16:26/sb in/mpath_prio_hds_modular-rwxr-xr-x1 rootroot5984 Jun 30 16:26 /sbin/mpath_prio_netapp-rwxr-xr-x1 rootroot3284 Jun 30 16:26 /sb in/mpath_prio_ra ndom-rwxr-xr-x1 rootroot4184 Jun 30 16:26 /sbin/mpath_prio_tpc-rwxr-xr-x1 rootroot121888 Jun 30 16:26 /sb in/multipath-rwxr-xr-x1 root

21、root146996 Jun 30 16:26 /sbin/multipathddrwxr-xr-x 2 root root0 Jun 30 16:26/usr/share/doc/packages/multipath-tools-rw-r-r-1 root root49 Nov 11 2005/usr/share/doc/packages/multipath-tools/AUTHOR-rw-r-r-1 rootroot25284 Nov 11 2005/usr/share/doc/packages/multipath-tools/COPYING-rw-r-r-1 rootroot195 Ju

22、n 30 16:25/usr/share/doc/packages/multipath-tools/Cha ngeLog-rw-r-r-1 rootroot15 Jun 30 16:25/usr/share/doc/packages/multipath-tools/README-rw-r-r-1 rootroot9238 Jun 30 16:25/usr/share/doc/packages/multipath-tools/multipath.c onf.anno tated-rw-r-r-1 rootroot1499 Jun 30 16:25/usr/share/doc/packages/m

23、ultipath-tools/multipath.c onf.syn thetic-rw-r-r-1 rootroot424 Jun 30 16:26/usr/share/ma n/ma n8/devmap _n ame.8.gz-rw-r-r-1 rootroot544 Jun 30 16:26/usr/share/ma n/ma n8/kpartx.8.gz-rw-r-r-1 rootroot2048 Jun 30 16:26/usr/share/ma n/ma n8/mpath_prio_alua.8.gz-rw-r-r-1 rootroot979 Jun 30 16:26/usr/sh

24、are/ma n/ma n8/multipath.8.gz-rw-r-r-1 rootroot489 Jun 30 16:26/usr/share/ma n/ma n8/multipathd.8.gzdrwx2 root root0 Jun 30 16:26 /var/cache/multipath小技巧存储添加映射或者做了修改，主机不用重新启动的方法echo 1 /sys/class/fc_host/host1/issue_lipecho 1 /sys/class/fc_host/host2/issue_lipecho /sys/class/scsi_host/host1/sca necho

25、 /sys/class/scsi_host/host2/sca n重启服务，让配置文件生效的方法：1. Stop the multipathd service.2. Clear old multipath bindings by en ter ing/sb in/multipath -F3. Create new multipath bindings by en ter ing/sb in/multipath -v2 -lStart the multipathd service. /更改配置文件后需要做上面的操作才可以让配置文件的更改 生效。如果连接一切都正常，但是suse在操作系统下看不到磁盘。这时可能需要重新启动存储系统。 本文出白51CTO.COM 技术博客