CommVault 故障排除手册第一版

《CommVault 故障排除手册第一版》由会员分享，可在线阅读，更多相关《CommVault 故障排除手册第一版（16页珍藏版）》请在装配图网上搜索。

1、CommVault技术白皮书CommVault故障排错指南版本控制： 版本号版本日期作者 注释:1.02011/07/22Jiff Cheng第一版:如何分析日志 & 如何排错 & 常用工具.目录第一篇：文档介绍.4第二篇：日志分析篇41:安装日志42:作业日志73:管理日志74:日志结构：8第三篇：故障排错篇101:CommSeve故障排错102:MA服务故障排错113:Library故障排错134: 通讯故障排错145: 文件备份故障排错146: 文件恢复故障排错156: Oracle备份故障排错167: Oracle恢复故障排错168: DB2备份故障排错169: DB2恢复故障排错16

2、10: Informix备份故障排错1710: Informix恢复故障排错1711: AD备份故障排错1712: AD恢复故障排错17第一篇：文档介绍.备份系统因为涉及到操作系统平台，数据库应用，带库设备. 如果遇到错误我们应该以什么样的思路去发现问题并快速寻求答案.本文档不可能包含所有的问题解决方案，但是提供给我们的是的解决问题的思路和方式。本文档的主要内容包括两部分：1): 日志分析篇2): 故障排除篇3): 工具使用篇 第二篇：日志分析篇系统都有那么日志？ 我该去哪里找到需要的日志？我该如何去查看日志？这些问题都是我们在故障排除阶段首先需要明确的问题. 只有知先发现问题，才能寻找的解决

3、问题的方案.本章节将介绍CommVault 在安装，运维过程中如何利用日志进行故障排错.1:安装日志在CommVault 安装过程中如何遇到问题，我该去哪里看日志呢?SQL Server2005：CommServe安装首先涉及到SQL Server2005 的安装,如果SQL Serverd的安装失败，那CommVault模块的安装也将无法继续.SQL 安装的记录日志: C:Program FilesMicrosoft SQL Server90Setup BootstrapLOG如果SQL 安装失败，请到以上目录找 “Summary.txt” 查看具体是那个模块失败.然后再去下一层目录 Fil

4、es下找到该模块对应的详细日志分析.如何查看 SQL Server 2005 安装日志文件Microsoft SQL Server 安装的主日志位于%ProgramFiles%Microsoft SQL Server90Setup BootstrapLOGSummary.txt如果Summary日志文件显示某个“模块”失败，可以通过查看此模块日志（搜索“return value 3”）调查失败的根源。产品日志可位于：%ProgramFiles%Microsoft SQL Server90Setup BootstrapLOGFiles该日志的命名约定如下：SQLSetupXXXXs_COMPUT

5、ERNAME_PRODUCTNAME_Y.log，其中 XXXXX = 该安装的枚举数（最后执行的安装具有最大的枚举数）COMPUTERNAME= 正在运行安装程序的计算机PRODUCTNAME= 产品名称（.msi 文件的名称），例如：Reporting Services 的 SQLSetup0001_MachineName_RS.log、Notification Services 的 SQLSetup0001_MachineName_NS.logY= 如果在一次安装运行中多次安装了 Microsoft Windows Installer 文件（.msi），则将该数字添加到日志名称上并递增。

6、?这主要发生在 Microsoft XML Core Services (MSXML) 上。下表包含安装每一个 SQL Server 组件的示例日志文件名称和日志文件说明。日志文件 说明 SQLSetup0001_MachineName_Core.log主 SQL Server 安装日志文件，包含所有 .msi 安装成功或失败的信息。SQLSetup0001_MachineName_SCC.logSQL Server 2005 系统配置检查器的详细信息，该检查器在 SQL Server 安装过程中运行系统检查。SQLSetup0001_MachineName_SQL.log数据库引擎安装日志文

7、件。SQLSetup0001_MachineName_AS.logAnalysis Services 安装日志文件。SQLSetup0001_MachineName_RS.logReporting Services 安装日志文件。SQLSetup0001_MachineName_NS.logSQL Server 2005 Notification Services 安装日志文件。SQLSetup0001_MachineName_DTS.logIntegration Services 安装日志文件。SQLSetup0001_MachineName_Tools.log客户端组件、SQL Serve

8、r Management Studio 和联机丛书安装日志文件。SQLSetup0001_MachineName_WI.log安装用户界面 (UI) 安装日志文件。SQLSetup0001_MachineName_SNAC.logSQL Server 本机客户端安装日志文件。SQLSetup0001_MachineName_.NET Framework 2.0.log.NETFramework2.0 安装日志文件。SQLSetup0001_MachineName_MSXML.logMSXML 安装日志文件。SQLSetup0001_MachineName_SQLXML.log SQLXML 安

9、装日志文件。SQLSetup0001_MachineName_Logs.cab对于故障转移群集安装，此文件将包含来自所有群集节点的日志。SQLSetup0001_MachineName_Datastore.xml对在安装期间缓存的所有属性的转储。产品支持服务部门可能需要此信息以排除故障与调试错误。Windows2003平台Commvault安装日志在windows2003 保存在以下目录：C:Documents and SettingsAll UsersApplication DataCommvault SystemsGalaxy注意：Application Data是系统隐藏目录。查看日志:

10、CVInstall.txt GalaxyInstallerlog.txtPostInstallScriptOutPut.txtWindows2008 :Commvault安装日志在windows2008 保存在以下目录：C:ProgramDataCommVault SystemsGalaxyLogFiles 注意：ProgramData是系统隐藏目录。查看日志:CVInstall.txtGalaxyInstallerlog.txtPostInstallScriptOutPut.txtUnix & LinuxCommvault安装日志在Unix 平台保存在以下目录：/tmp/.gxsetup注意

11、：.gxsetup是隐藏目录.cvpkgadd.log.xxxxx2:作业日志作业日志是指CommVault产品已经成功安装，在作业运行阶段的日志信息。Windows:Windows的作业日志目录可以从以下注册表中得到:HKEY_LOCAL_MACHINESOFTWARECommVault SystemsGalaxyInstance001EventManagerdEVLOGDIR: 【E:CommVaultSimpanaLog Files】Unix & LinuxUnix的运行日志目录可以从以下命令得到：# simpana status|grep -i logLog Directory = /

12、var/log/simpana/Log_Files3:管理日志管理日志是指CommVault 产品的一些配置信息日志，该类型日志主要记整个CommCell域内部的相关操作，包括如下：License 日志、 Patch 更新、 数据时效、防火墙、DR备份等信息管理日志于作业日志存放在同一目录下：Windows:Windows的管理日志目录可以从以下注册表中得到:HKEY_LOCAL_MACHINESOFTWARECommVault SystemsGalaxyInstance001EventManagerdEVLOGDIR: 【E:CommVaultSimpanaLog Files】Unix &

13、LinuxUnix的管理日志目录可以从以下命令得到：# simpana status|grep -i logLog Directory = /var/log/simpana/Log_Files4:日志结构：从上面章节我们大体可以将CommVault的日志分为如下4 大类：1安装日志: 所有产品模块安装相关日志。2. 管理日志： 数据时效，DR备份，License审核, 防火墙配置等相关日志.3. 服务日志: Windows上的服务,Unix 上的 Daemon 等显示服务对应的，如下进程：（Cvd,EvmgrC, CvMountd,CvRepSvc etc ）4. 作业日志: 指作业运行才会被

14、启动的进程对应日志. 如下进程：(FileScan, ClOraAgent, Dsbackup .etc) 服务日志和作业日志每个进程会对应一个独立的日志，这样的日志结构能够便于快速查找和定位错误信息.注意：1: 作业进程是动态的，只有在作业发起后才会被启动.所以作业日志也只有作业运行状态下才更新类似的作业进程如下： iFind,SrvDb2Agent,ClDb2Agent, SrvOraAgent, ClOraAgent2: 管理日志并没有显式的对应进程，而是由CVD中的多线程来控制,例如： DataAgent. License_Db .本节将介绍CommVault的主要服务进程与日志的对应

15、关系：CommServe：CommServe上有那些进程，这些对应哪些日志，如果遇到问题我该去查看哪个日志?下面的表格描述了CommSereve上的主要进程和对应日志信息。进程名称日志名称日志描述 （ 关联错误类型 ）CvdCvd.log服务启动,网络通讯，端口建立，作业注册，作业状态更新等类型错误EvMgrSEvMgrS.log本地服务与GUI通讯，接受客户端EvMgrC 进程浏览信息,GUI操作错误JobMgrJobManager.log作业状态, GUI里的显示错误. MediaManager MediaManager.logMA，带库设备通讯交互,设备类型错误.AppMgrSvcApp

16、MgrSvc.log客户端和CommServe 的配置类型错误.QSDKQSDK.log命令行备份的错误CvfwdCvfwd.log防火墙错误SRMServerSRMServe.logSRM 模块配置，运行错误。SrvOraAgent.logOracle 备份/恢复，GUI错误。SrvDB2Agent.logDb2 备份/恢复 GUI 错误管理日志UpdateInfo.log补丁更新DataAge.log数据时效xxxx其他MediaAgent:下面的表格描述了MediaAgent上的主要进程和对应日志信息。进程名称日志名称日志描述 （ 关联错误类型 ）CvdCvd.log服务启动,网络通讯，

17、端口建立，作业注册，作业状态更新等类型错误EvMgrCEvMgrC.log客户端和CommCell 的GUI通讯，GUI操作错误。CvmountdCVMA.log介质服务状态，带库设备，介质加载相关的错误 cvlaunchdCvlaunchd.log 9.0 新引入进程，配合cvd 主进程执行所有父进程名利ing 发起. Client:下面的表格描述了Client上的主要进程和对应日志信息进程名称日志名称日志描述 （ 关联错误类型 ）CvdCvd.log服务启动,网络通讯，端口建立，作业注册，作业状态更新等类型错误EvMgrCEvMgrC.log客户端和CommCell 的GUI通讯，GUI操

18、作错误cvlaunchdCvlaunchd.log 9.0 新引入进程，配合cvd 主进程执行所有父进程名利ing 发起. ifindFileScan.log文件系统备份扫描阶段错误clBackupclBackupParent.logclBackupChild.log数据备份传输阶段日志clRestoreclRestore.log数据恢复日志.其他应用类型第三篇：故障排错篇在第二篇中我们介绍了CommVault中的日志类型，和日志结构，本章将详细介绍不同情形下的错误该如何去查找日志，1:CommSeve故障排错CommServe 上的故障通常表现为1: 服务无法启动; 2:服务正常，CommC

19、ell无法登陆.CommServe 服务异常可能原因: SQL数据库物理或逻辑故障.查看日志：SQL 日志. System Event Log解决方案：A: 如果是数据文件逻辑损坏， 可尝试用DBCC 或DBMaintenance 工具修复DBCC: 进入SQL EM. 执行以下语法use masterexec sp_dboption DBNAME, Nsingle, Ntrue dbcc checkdb(CommServe, REPAIR_ALLOW_DATA_LOSS) dbcc checkdb(CommServe, REPAIR_REBUILD)C: dbmaintenance full

20、 DBMaintenance: 可在SIMPAN Base 目录下找到B: 如果逻辑修复失败，就要进行物理恢复: 使用DR Dump 进行物理恢复. ODBC 连接失败查看日志： Cvd.log ; EvMgrS.log; CVCsl_Licensing_Dbg.log ;CommCell GUI 与数据库通过本地ODBC通讯，其默认绑定用户为”sqladmin_cv”, 该用户是在安装过程中默认创建. 该账户默认同步数据库中的用户密码和注册表中的 pACCESS 键值： HKEY_LOCAL_MACHINESOFTWARECommVault SystemsGalaxyInstance001D

21、atabase如果在SQL Server人为删除或修改了账户密码，注册表没有同步，那么ODBC连接将失败.解决方案:A: 到数据库装将密码还原为原始密码。B: 用“CreateCSSQlAccont”工具同步数据库与注册表: （该工具可在 RP 中找到 ）createCSSQLAccount -server CSV8COMMVAULT -salogin sa -sapwd commvault -cslogin sqladmin_cv -cs pwd jiff123 -SetRegistry Instance001 createCSSQLAccount -server CSV8COMMVAULT

22、 -salogin sa -sapwd commvault -cslogin sqladmin_cv -cs pwd jiff123 -CreateSQLLogin IP地址变更 / Hosts 表变更如果有IP地址变更, 或Hosts File 中CommSeve 注册主机名对应了不一致的IP地址. 也会导致服务异常.解决方案：1):从CVCsl_Licensing_Dbg.log 确认查找现在的当前使用IP 与注册IP 的冲突信息。 然后修改为正确IP 地址.2):如果是使用DNS 进行名称解析。 确认DNS 双向解析正确.3):如果是使用HOSTS来进行名称解析。确认HOSTS表中的对应

23、关系是否正确.CommCell1: 是否启用SSO ,域服务器同步异常。域用户账户密码过期，域用户被锁。 权限组被更改.2:MA故障排错MA 脱机可能原因：通信异常，服务端口被占用， 防火墙限制 . 查看日志: CVMA.log, Cvd.log, Cvfwd.log 检查以上日志，查看是否有端口错误，1904716 607 05/15 18:44:20 # SERVICE Succesfully updated IndexCacheInfo in the registry for host cv_BI2DW1.1904716 1 05/15 18:44:20 # SERVICE :CVMAs

24、ervice.cpp:1441: Going to Release Receiver Semaphore in CVMA_RESYNC_REQ1904716 1 05/15 18:44:25 # CVMAService:getMLMMsgInstance() - :* NO CONNECTION TO MEDIAMANAGER SERVICE, START A NEW ONE *1904716 1 05/15 18:44:25 # Connect to 192.168.0.47:2698 failed: Connection refused1904716 1 05/15 18:44:25 #

25、CVMAService:getMLMMsgInstance() - :CVMAservice.cpp:1287:* MEDIAMANAGER SERVICE IS DOWN *1904716 304 05/15 18:44:25 # THREADS CVMAServantThread thread starts: ThreadId = 772 解决方案：确认本地端口服务是否正常，是否有被占用或冲突. 不同平台确认方式如下：Windows: CMD netstat -ano |find port Linux: # netstat -anp |grep port#lsof AIX:#netstat

26、 -Aan|grep 1334HP & Solaris:#lsof (该工具可从网上下载获取)B: 确认MA于CS 的通讯正常.Cvping hostnameTelenet hostname Port2: CV_Mount 错误: CV Mount 磁带分为三个步骤:1: CvMount进程控制 Library Move磁带.2: 驱动器Load 磁带.3: OML 验证如果MA无法Mount 介质，我们需要从以上三个方面去查看日志.A: Move 介质: 查看 Libraryxx_Cxx.log.B: Load 介质: 查看CVMA.log C: OML 验证: 查看CVMA.logD: 是

27、否有系统服务控制产生冲突 (Windows SRM, HP EMS, HP Manager Agent )E: 是否有第三方带库控制软件同时在控制带库. 3: Data Writer (Data Mover)错误: 如果介质已经正常Mount, 却无法写入需要从以下方面去查看日志A： Cvd.log (Cvd是控制DataMove 的主进程.同时协调CVMA. DmWrite, DsBackup )B: CVMA.log 介质加载的 BlockSize 是否有匹配错误C: DsBackup & DmWrite. 查看是否写入错误.D: 是否有系统服务控制产生冲突. 例如:(Windows SR

28、M, HP EMS, HP Manager Agent )E: 是否有第三方带库控制软件同时在控制带库. 3:Library故障排错带库异常因为涉及硬件因素，所以会有太多的因素影响，对于带库异常我们应该采取：”排除定位法” 确认问题的根源是：硬件，链路，系统，还是CV 本身. 影响因素: 操作系统版本， 链路连接。Libbrary 型号， 驱动版本，驱动器型号，驱动，FirmwareHBA 卡型号，驱动，Firmware. 4: 通讯故障排错5: 文件备份故障排错文件备份分为如下步骤：通信握手，扫描，介质加载，数据传输，备份索引.在CommCell GUI 上你看到的不同的阶段的错误就要去查看

29、不同的错误1：作业 0% 立即失败：此阶段是CommServe与Client 建立通信连接失败，确认客户端服务是否正常.：CommSeve检查日志: Cvd.log , JobManager.log，EvMgrS.log,Client 检查日志: Cvd.log, EvmgrC.log2: 作业5% 停留或失败:此时说明CommServe与Client进程通信已经正常建立，只是客户端Ifind 进程在文件扫描；或Client 于MA 无法通信，MA上CreateIndex 失败, 检查以下日志Client 检查日志: FileScan.log ClBackup.log Cvd.logMedia

30、Agent 检查日志：Cvd.log CreateIndex.log 3: 作业25% 停留或失败:此时文件扫描已经完成，MA Mount介质或或建立DataPipe 时遇到异常CommServe检查日志： MediaManager.log MediaAgent检查日志: CVMA.log, ClBackupParent.log, ClBackupChild.log, Cvd.log(Windows) Client 检查日志： CVd.log, ClBackupxxx.log, Cvfwd.log4: 作业90% 停留或失败:文件备份停留在90%，表明数据备份已经完成，MA在备份索引阶段遇到异

31、常; 此时遇到错误可以清楚了解错误和客户端已经没有关系， 问题出在CommServe和MA之间CommServe检查日志： Cvd.log JobManager.log MediaAgent检查日志: Cvd.log, ArchiveIndex.log6: 文件恢复故障排错1：无法浏览文件列表: 如果从CommCell 无法浏览文件列表，检查日志:CommServe检查日志: Browse.log, Cvd.log MediaAgent检查日志: Cvd.log, EvmgrC.log检查项目:A：是否CommServe 时间被调前. B: MA 无法访问， IndexCache 是否可访问.

32、2: 无法加载磁带.检查日志:CommServe检查日志: Browse.log, Cvd.log MediaAgent检查日志: Cvd.log, EvmgrC.log6: Oracle备份故障排错1：作业 5% 立即失败：此阶段说明数据库连接错误，应该检查网络原因：CommServe检查日志: Cvd.log SrvOraAgent.logClient 检查日志: Cvd.log EvmgrC.log2：作业 10% 立即失败：已经建立连接，生成脚本或于MA 通信失败CommServe 检查日志 ：JobManager.logClient 检查日志: Cvd.log, ClOraAgent.logMediaAgent检查日志: