中科蓝鲸共享存储系统用户培训文档

《中科蓝鲸共享存储系统用户培训文档》由会员分享，可在线阅读，更多相关《中科蓝鲸共享存储系统用户培训文档（23页珍藏版）》请在装配图网上搜索。

1、共享存储系统用户培训文档中国科学院计算技术研究所天津中科蓝鲸信息技术有限公司2010年 12月20日目录1技术支持服务联系方式32系统结构42.1. 术语与缩写解释42.2. 具体环境信息42.3.共享存储系统结构图62.4.1. 共享存储网络拓扑图62.4.2. 机柜结构图72.4.3. 曙光光纤盘阵A/D结构图72.4.4. 光纤交换机端口连接说明图82.4.共享存储访问信息83系统使用方法93.1. BWFS的使用方法93.1.1. MDC操作介绍93.1.2. 计算节点上以/s方式挂载BWFS的方法113.1.3. BWFS客户端安装方法13.2 .曙光DS6312光纤盘阵的监控方法1

2、23.3.光纤交换机的监控方法133.4.1 管理界面登录方法133.4.2 交换机状态查询154系统的开关机顺序164.1. 开机顺序164.2.关机顺序165TROUBLESHOOTING175.1. 计算节点17全部计算节点读写WFS出现问题17部分计算节点读写WFS出现问题175.2. MDC 端 175.3. 光纤盘阵175.4. 光纤交换机176附件186.1.蓝鲸日常维护建议186.2.蓝鲸MDC日志收集方法191 技术支持服务联系方式共享存储厂商技术支持电话：转分机号2202 或 2203姓名电话EmailMsn王华吴健星2 系统结构2.1.术语与缩写解释缩写、术语解释BWFS

3、蓝鲸文件系统MDCBWFS兀数据服务器/控制器AS应用服务器，指计算节点、客户端节点FC-HBA 卡光纤通道主机适配卡MDC1主BWFS兀数据控制器MDC2从BWFS兀数据控制器光纤盘阵光纤磁盘阵列，该系统内指曙光DS6312FE双控光纤磁盘阵列盘阵扩展柜磁盘阵列的扩展阵列，该系统内指曙光JB6312EE扩展柜光纤交换机该系统内指博科300光纤交换机2.2.具体环境信息系统名 称系统组成技术规格单位数量共享存储 系统SAN光纤交换机24 口 8Gbps光纤交换机 8个SFP模块8端口可用台1MDC服务器带双口 4Gbps光纤卡，4千兆网卡，146GB SAS 硬盘*2构建硬Raidl。台2磁盘

4、阵列磁盘阵列主柜 曙光 DS6312FE双控制器，3U 16盘位，4个FC数据连接 口，双冗余电源模块套1磁盘阵列扩展柜曙光 JB6312EE专用双冗余扩展柜，3U,每扩展控制模块 1SAS扩展口，双冗余电源模块套1光纤线缆LC多模光纤线缆，3米根8蓝鲸文件系统BWFS支持全局命名空间，文件共享套1具体信息操作系统MDC1Linux Cent OS5.3 x86 64MDC2Linux Cent OS5.3 x86 64曙光DS6312FE磁盘阵列主柜1台2块盘RAID1，12块盘RAID5, 1块盘 热备磁盘。曙光JB6312EE磁盘阵列扩展柜1台8块盘RAID5，1块热备。网络配置MDC0

5、1服务IPMDC02曙光光纤盘阵管理 IP： 控制器 IP： 用户名；admi ni strator 密码 password密码infiniti光纤交换机管理 IP： 管理用户名admin密码passwordSAN文件系统-BWFSBWFS v5.31套文件系统fsl, 1个卷组，数据块256KB,分配粒度512KB。1 个 500GBMetadata,l 个 5GBHAsys,4 个数据卷（2 个 5TB，2 个 3.1TB）。2.3.共享存储系统结构图2.4.1. 共享存储网络拓扑图共享存储系统拓扑图以太网线光纤线计算节点集群Cen t0 S4U5,2.6.9-55.0.2.Elsmp x

6、86_64用 nfs 挂载 10.255.255.100:/bwfs_share 集群管理节点登录节点nethOethOipmieth1ipmieth1MDC1操作系统：CentOS5.3 x86_64.MDC2操作系统：CentOS5.3 x86_64心跳心跳文件系统服务IP:10.255.255.100接p接pWeb访问管理：http:/10.255.255.100:81 吨 rt4 用户名:admin,密码：111111 文件系统版本：BWFS5.3.2U1_RC4 1个文件系统：fs1,数据块大小=256KB, 1个卷组：vg_fs1,非排他、分配粒度 =2MB、使用方式=文件级错误隔

7、离 导出目录：/bwfs_share 客户端计算节点以nfs方式挂载BWFS导出的 目录 /bwfs_shareMDC服务器型号”接Prt 接pr博科300光纤交换机C1-接SAS级联曙光JB6312EE磁盘阵列扩展柜C1-C2-曙光DS6312FE双控磁盘阵列主磁盘阵列信息：Web访问管理盘阵 ,默认登录用户名C2-：:Intel1500服务器CPU Intel xeon E5405 2.0GHz,内存 2GB; 本地磁盘 Fujitsu SAS 147GB*2 RAID1; 网卡型号：Intel千兆网卡*4;FC HBA 卡：QLE2462 双口 4Gbps；每个卷8倍多路径，Linux

8、dm-multipath管理。 License数量：无加密狗用户名 bwfs密码bwfs Eth2,eth3 模式6绑定，博科300E光纤交换机Web 访问 10.77.77.77,用户名/密码：admin/password07端口 Zoning。光纤交换机端口 0、光纤交换机端口 2、光纤交换机端口 4、光纤交换机端口 6、1接盘阵控制器C1； 3接盘阵控制器C2； 5接MDC1；7接MDC2。SAS级联:administrator密码：password主柜上15块希捷1TB SATA磁盘，扩展柜上8块日立SATA 1TB磁盘+1块希捷1TB热备； 每个控制器缓存1GB,读写策略为Write

9、back，Readahead, RAID条带都为默认64KB。 主柜上1、2号盘RAID1,划分Metadata 200GB , Hasys 5GB；主柜上314号共12盘做RAID5,划分两个5TB数据卷，15号盘热备。扩展柜上18号槽位的8块磁盘做RAID5 （即界面上显示1724号盘），划分两个3TB的数据卷。RAID的逻辑卷自动分配在两个控制器上，每个控制器的两个端口都接到FC交换机上，占用FC交换机14号 端口，MDC上连接后有多路径，通过Linux dm-multipath管理多路径。2.4.2. 机柜结构图uu U间空U7曙光光纤盘阵扩展柜DS6312EEMDC1 IP:10.2

10、55.255.101 服务 MDC2 IP:10.255.255.102 服务曙光光纤盘阵主柜DS6312FE，管理IP： 243曙光光纤盘阵RAID结构图123456789101112131415热备盘16空123456789热备盘10空11空12空13空14空15空16空光纤盘阵主柜1,2 号磁盘 RAID1:1个 500GB Metadata个 5GBHAsys。 314号磁盘RAID5，2个5TB的数据卷光纤盘阵扩展柜18号磁盘RAID5, 2个3.1TB数据卷2.4.4.光纤交换机端口连接说明图Port2,接盘阵控制器C2-FC1Port3,接盘阵控制器C2-F2Portl,接盘阵控

11、制器C1-FC2PortO,接盘阵控制器C1-FC1Port4,接MDC1光纤卡-博科300光纤交换机端口连接说明图portlPort5,接MDC 1光纤卡- port2Port7，接MDC2光纤卡 port2Port6,接MDC2光纤卡- portl2.4.共享存储访问信息MDC01IP：服 务IP子网掩码：MDC02IP：曙光光纤盘阵管理 IP： 登录用户名：administrator密码：password光纤交换机管理 IP： 10.77.77.77 登录用户名：admin 密码：password3 系统使用方法31 BWFS的使用方法3.1.1.MDC 操作介绍通过 web 方式启动和

12、停止蓝鲸文件系统：81如下图所示：说明：通过 web 方式登录到蓝鲸管理页面后，点击启动和停止文件系统选项，在右侧会显示启动/停 止文件系统服务的选择项，根据情况进行文件系统的启动和停止。通过CLI方式开关蓝鲸文件系统: 以下命令都是 ssh 登录到 MDC 上后执行命令。/启动文件系统 fs1启动文件系统方法：rootMDC01 # /usr/local/hr/bin/bwadmin - fsl/停止文件系统 fs1关闭文件系统方法：（即文件系统下线）rootMDC01 # /usr/local/hr/bin/bwadmin -fsl此时屏幕反馈如下，键盘输入yes,完成关闭操作。Befor

13、e stopping , you should make sure that all client is stopped accessing server are you sureyes/no?yes was stopped successfully.查询文件系统服务状态方法：通过 web 方式查看文件系统状态 例如：盟叵因9BWFSSAN F订c System3 Fil n 卩对口- licrcisffft IntrnT Kplnrsr土 ：詐t. 5.tLp：/1l A ：1. Z-J3.3LJ日芒髓吕:1丈枠即 礎 站迫 收3B（i工且 霑対Q后退” 国園辺f配置向号尤许转茜組：荼用2丄

14、雄式世文件系嶙-启动和痹止文件系蜒-杯営理上目杀耳册2快輕皆理円配査直件営理运行时问：勺天了小时B牙钟対秒目:系WB连员耒壕塗if爭怖理详细丈件耒新名:昭_可丈伴爭坊11奇 点；ZCD9-O0-21 10!21!12址启一汝扌璘 町可：UU1Ddc826Etelkfeg 航COitiLeeESa：容莖斗,9?%.SS ； .TO7.B22G0 空闪；2AH.BB9GE回玄件系5E说明：通过web登录到蓝鲸管理页面后，在首页部分的状态栏里会显示文件系统的服务状态，点击“详 细”会列出关于蓝鲸的相关信息。/查询文件系统的详细信息和状态通过CLI方式查看文件系统状态： rootBig_MDC # b

15、wadmin -d fs1导出目录的配置方法：当有新增网段的计算节点需要挂载bwfs时，需要先在BWFS系统的管理界面中将目录导出给计算节 点，类似于nfs导出的原理，进行目录导出。导出目录如下图：在web界面中操作。说明：根据页面提示填写导出IP或IP段、导出目录、访问方式等后，保存即可完成目录导出。312计算节点上以nfs方式挂载BWFS的方法由于目前系统上的计算节点没有安装光纤HBA卡，对于没有光纤HBA卡的计算节点访问共享存储， 仍然使用nfs方式挂载MDC上导出的BWFS文件系统。共享存储的服务IP是：挂载存储的方法和你原来挂载nfs存储一样，例如，要将共享存储挂载到各个计算节点的/

16、share/nas9 目录下，使用命令挂载：mount 10.255.255.100:/bwfs_share /share/nas93.1.3. BWFS 客户端安装方法本部分仅针对安装有光纤HBA卡的计算节点，通过BWFS客户端直接存取文件至光纤盘阵内，需要先安 装 BWFS 客户端。以 64 位 CentOS5.2 操作系统为例进行安装说明1. 首先在带光纤HBA卡计算节点上用ping命令检查网络情况，即在计算节点上依次ping MDC01、 MDC02确认可以正常ping通各个节点。2. 确认计算节点的光纤HBA卡连接状态正常，连接光纤盘阵上的卷设备正常。3. 查看计算节点系统详细内核：

17、# uname -aLinux 计算机名 2.6.18-92.el5 #1 SMP Tue Jun 10 18:51:06 EDT 2008 x86_64 x86_64 x86_64 GNU/Linux 4拷贝BWFS v5.3的对应的客户端安装包到此节点上，安装包的名称应该和该节点的操作系统内核相 匹配。注：客户端软件包可联系我方技术支持人员或商务人员获取。解压并安装AS客户端程序：#解压之后会产生 # ls# rpm -ivh enfs-kmod-2.6.18-92.el5-5.3.2-6181.x86_64.rpm进行 rpm 包的安装# rpm -ivh linux_as_tools-

18、5.3.2-rc4.x86_64.rpm 至此，蓝鲸客户端程序安装完毕。5. 配置计算节点开机自动挂载，vim编辑/etc/fstab文件，文件最后面添加一行，例如： 10.255.255.100:/bwfs_share /share/nas9 enfs_netdev,nolockdefaults 0 0然后编辑/etc/rc.local文件，在文件最后追加如下信息：# The followwing is writed for bwfs.sleep 30mount -t enfs -o _netdev,nolock 10.255.255.100:/bwfs_share /share/nas9或

19、从其他节点上将/etc/rc.loca 1拷贝到此节点上，将原来的文件进行覆盖。6. 完成以上几步后，直接重启计算节点，使用df命令检查BWFS是否正常挂载到/share/nas9，挂载后， 即可使用。检查点：在计算节点上使用multipath-11，fdisk -1 I grep sd命令查看到连接光纤盘阵的卷信息。3.2.曙光 DS6312 光纤盘阵的监控方法曙光光纤盘阵可以使用web方式管理访问，将盘阵控制器上的以太网口和交换机连接，或者使用PC 及笔记本电脑和盘阵控制器对联，在IE浏览器上输入即可访问，登录用户名administrator,登录密码 password。登录后，可以点击各

20、个按钮查看盘阵的状态。1、点击“机壳”，即能查看各块磁盘的状态是否运行正常，如下图：V| 再毎 | Eft | 于 |电他W住7橱I“咖2压戲机芫，主1?单无 已上机芫Sg-g WZSffi 曲厲 二:昌呼盘阵TlE EfiW 0Eg如沁 12辑馳悔a iE总運期璃-i運&般厢岂E修劉wx聲3 tZtf!fl4E $ 日Q審用羽吊悩岀番用苗动H 0吿鲁用鮒H i 吕舀1辑更!膜9 昶開H o腔廿 ILUI摩卿fWM亘#.|厦阳阳牝9劭播豔对那 雄其中Z-a3Slfi!M2rfLCuiavEiuiMi?3匪OK. SjnctTtncnjU台KE站2、点击“控制器”即可查看到两个控制器的状态和信息

21、。3、如果添加磁盘做扩容，先选中合适数目的空闲磁盘，“创建磁盘阵列” “创建逻辑驱动器”，可参考 曙光磁盘阵列随机光盘中的配置向导说明。3.3.光纤交换机的监控方法3.4.1 管理界面登录方法在浏览器中输入光纤交换机的管理IP地址，默认IP地址是，就可直接访问管理界面。 由于光纤交换机的管理界面使用了 JAVA控件，所以访问的节点需要在本地安装JDK,即具有JAVA 环境。接着在弹出的对话框中输入User Name： admin和Password： password，点击“OK”按钮，如图Please Login口回冈Please enter user name and password.19

22、2.168 2 5 230User NamePasswordResource图 登录完毕后管理界面就会弹出，如下图：图 3.4.2 交换机状态查询图 上图中可以看到“Switch Events”标签页，这些日志可以通过“Export”导出存为文件（定位故障时 需要此文件）。页面最上方有交换机各个部件的状态显示，正如图中显示的溉卅朋等分别表示交换机的状态、温 度、电源、风扇情况正常，鼠标左键点击此按钮还可以查看详细情况。在“Switch View”栏中可以看到16个光纤口的连接状态，“F”表示连接正常，“U”表示未连接或所 连接的主机没有开机。此管理界面仅仅只是用来查看状态和监控使用，请勿在此管

23、理界面中进行任何配置或者修改，否则可 能会影响整个前端应用。4 系统的开关机顺序建议：在进行开机或者关机操作前与中科蓝鲸技术支持人员进行联系。4.1.开机顺序以下操作请按照顺序来执行，否则可能会引起系统的混乱而影响使用。1、开启以太网交换机；开启光纤交换机，等待 2 分钟，确认光纤交换机已正常开启，运行指示灯绿色长 亮，运行正常。2、开启曙光光纤盘阵扩展柜。开启时直接同时打开盘阵后端的两个电源开关即可。等待扩展柜自检同步 操作完成，预计需要等待3 分钟。确认前面板各个硬盘指示灯全部常绿，即开启完毕后进行下一步操作。3、开启曙光光纤盘阵主柜。开启时直接同时打开盘阵后端的两个电源开关即可。等待盘阵

24、自检同步操作 完成，预计需要等待5 分钟左右。确认前面板各个硬盘指示灯全部常绿，即开启完毕后进行下一步操作。4、开启MDC1服务器，确认操作系统启动成功。检查连接光纤盘阵的卷是否正常，使用fdisk -l和multipath -11命令查看，可以web访问，查看BWFS状态。5、开启MDC2服务器，确认操作系统启动成功。检查连接光纤盘阵的卷是否正常，使用fdisk -l和multipath -ll 命令查看。6、通过web方式，在浏览器的地址栏中输入:81,登录到蓝鲸管理界面，如果文件系统fs1是停止状态， 点击“启动和停止文件系统”选项卡，对文件系统进行启动。7、点击“系统诊断”，查看两台M

25、DC和文件系统的详细运行状态，如果有异常项目，可以点击“下载诊 断文件”，联系中科蓝鲸技术工程师，寻求技术支援。8、计算节点开机，系统启动后，执行命令df-Th检查是否挂载BWFS，即10.255.255.100:/bwfs_share。4.2.关机顺序以下操作请按照顺序来执行，否则可能会引起系统的混乱而影响使用。1、所有计算节点上umount蓝鲸文件系统目录，比如umount /share/nas9，或者各个计算节使用poweroff 命令直接进行安全关机。2、以 web 方式登录到 BWFS 管理页面上，访问，登录后，点击“系统诊断”，查看哪台 MDC 在提供服 务。3、将“等待服务”状态

26、的MDC用poweroff命令进行安全关机。4、将“提供服务”状态的MDC用poweroff命令进行安全关机。5、关闭光纤盘阵的主柜，直接同时按下盘阵主柜后面的两个电源开关。6、关闭光纤盘阵的扩展柜，直接同时按下盘阵扩展柜后面的两个电源开关。7、关闭光纤交换机，关闭以太网交换机。注意：盘阵关机之后，距离重新启动之间的时间间隔保证在5分钟，以使得存储系统完全关闭，各组 件和部件停止工作5 Troubleshooting5.1.计算节点5.1.1 全部计算节点读写 BWFS 出现问题当检查发现全部节点出现挂载、不能写入和读取BWFS等问题时，1、检查计算节点的网络连接，和MDC状态；2、按照4.2

27、4.5小节的方法进行检查。若以上检查都正常情况下，请直接电话联系蓝鲸技术支持人 员。5.1.2 部分计算节点读写 BWFS 出现问题在计算节点上已经配置了开机自动挂载，当开机后无法正常挂载蓝鲸盘时：1. 可能是计算节点和MDC服务IP不通，请检查MDC和计算节点间的网络状态。2. 如果网络能ping通，但仍然无法正常挂载bwfs,请检查bwfs服务状态是否是运行。计算节点是否 在MDC上目录导出的IP范围内。此时 BWFS 系统若运行异常，请电话联系中科蓝鲸技术支持人员。5.2.MDC 端若计算节点检查没有疑问后，请检查以下几点：1. 通过web方式，在浏览器的地址栏中输入，登录到蓝鲸管理界面

28、，在首页部分的状态栏里会显示文件系 统的服务状态，或命令行中输入/usr/local/hr/bin/bwadmin-dfs1,命令中的参数d正是查询文件系统运行状 态的参数，反馈信息中State:RUNNING表示文件系统运行状态正常。相关信息可参见211中“查询文件系 统服务状态方法” 一节。如果文件系统查询的状态是停止的，就请手动开启文件系统服务，操作方法可参看211节所示。当查询系统状态为stop时，客户端是无法挂载蓝鲸盘的，所以请不要随意停止文件系统服务。5.3.光纤盘阵III1、听盘阵是否有类似“滴滴”报警声音；2、观察前面板，和后面板是否有红色报警灯亮起；3、闻盘阵前后是否有异味，

29、比如焦臭味；4、用手摸盘阵机器表面的温度是否过高；5、以上14中如有异常，请web登录盘阵管理界面，查看报警提示，并收集状态和日志，通过邮件 附件的方式发送给蓝鲸技术支持人员。5.4.光纤交换机使用 web 登录光纤交换机的管理界面，如果发现运行状态不正常了，请将管理界面截图并与下载的 events log 一起通过邮件发送给供应商中科软公司，抄送给蓝鲸技术支持，供分析定位故障。6 附件6.1.蓝鲸日常维护建议1）检查MDC节点上bwfs服务的运行状态：通过web方式，在浏览器的地址栏中输入:81,登录到蓝 鲸管理界面，在首页部分的状态栏里会显示文件系统的服务状态例如：界面语= 版骨丄卫事胖営

30、理BWFSSAN File System配直交件察费_L稲式牝空骨爺SE1自动和停让空件寒按中笊略昔塵1配査直什営理! SflFBS-?配直藹号文件系觥啓详剣bwfs_sj.&?: 3K7.S22GB： 291A.BB9ffi6&-IJJD；itceSS2fi5tel deg37tCOaOdlG622c允许蒋韭魁：蒸用丸件諭挂檢 点:/bwft屋爲1衣曲 吋间：3X09-2110：21：12養厅吋间：3S 7小吋G分沖1A抄元裁据卷综 目：1日戎电殲目:1附爭:甘時日-7-. 丄一空甘察我 :bwfsjj寻 FUe? Systea - licTOSrft Internet zporerIE同冈

31、|丈件 扁舐iff爭凹收31噫i工且驾助MFQ碇”宦崗/號,唇* ”園裟:比址l-.-p.711 11. L1.E43.EL；v QRi键更2）对两台MDC运行状态进行系统诊断，通过web浏览器访问：81，登录到蓝鲸管理界面，在左侧导 航栏中点击“系统诊断”选项卡，对MDC01和MDC02进行状态检查。如下图所示：3）检查计算节点使用蓝鲸的情况：选择任意一台计算节点，在蓝鲸目录中进行文件的读写检查。4）定期日志收集（建议2到 4周收集一次日志），发送给蓝鲸技术支持人员查看。日志包括盘阵日志（参见节）和MDC01和MDC02的日志（参见52节）。6.2.蓝鲸MDC日志收集方法通过web方式，在浏览器的地址栏中分别输入和，分别登录到MDC01和MDC02的蓝鲸管理界面, 在左侧的导航栏中点击“系统日志”选项卡，对MDC01和MDC02的相关日志进行收集。如下图所示：点击“下载日志文件”则会弹出如下保存文件的对话框，选择路径，更改名称（加入标识区分收集的 是 MDC01 还是 MDC02 的日志）。如下图所示：点击保存，即可完成日志的下载和收集。注：该日志信息发于蓝鲸技术支持人员后，可以方便分析MDC的运行状况，以及对问题进行判断。