系统常见故障诊断参考

《系统常见故障诊断参考》由会员分享，可在线阅读，更多相关《系统常见故障诊断参考（40页珍藏版）》请在装配图网上搜索。

1、系统常见故障诊断参考-了解被诊断系统 什么语言开发的 架构及工作原理 日志及其它输出 模块相互间接口及调用关系 评估故障诊断方法可能对系统带来的影响通用方法-正视故障诊断的复杂性 其实故障诊断是个模式匹配的过程 首先确认这是个故障 一定建立在多方收集的客观事实（现象、日志）基础上 充分分析事实，不要轻易下结论 忽略偶然现象，最好能够重现故障 抓问题主要方面，特别是一段时间没有诊断和分析的系统，老问题会带来干扰通用方法-工具和方法 利用好各种诊断工具 询问法粗略了解，要分清事实和结论 日志分析法 利用思维导图，分析逻辑关系 分段或分环境进行测试，并记录结果做比较 敢于怀疑，但要找事实支持日志分析

2、方法-实现统计功能 awk(regex,function)grep(regex)sed sort tr uniq 跟踪系统和动态库函数调用：truss/tusc/strace<race 查看系统日志：dmesg/errpt日志分析方法-实践 统计所有进程占用多大内存 在aix上，统计代码段有多大 接上，统计有多少个不同的段 接上，统计各个段的大小 统计应用日志中，select语句的平均耗时，及耗时最大的 5 条sql 跟踪一下系统调用 自己来点？预备知识-动态链接库由来和原理优缺点加载PIC性能预备知识-多线程的概念预备知识-程序内存映像预备知识-AIX程序内存映像A 32-bit app

3、lication program running on the system has an address space that is divided into the following segments:0 x00000000 to 0 x0fffffff Contains the kernel.0 x10000000 to 0 x1fffffff Contains the application program text.0 x20000000 to 0 x2fffffff Contains the application program data,the process heap,an

4、d the application stack.0 x30000000 to 0 xcfffffff Available for use by shared memory or mmap services.0 xd0000000 to 0 xdfffffff Contains shared library text.0 xe0000000 to 0 xefffffff Available for use by shared memory or mmap services.0 xf0000000 to 0 xffffffff Contains the application shared lib

5、rary data.Process Address Space in 64-bit Applications A 64-bit application program running on the system has an address space that is divided into the following segments:0 x0000 0000 0000 0000 to 0 x0000 0000 0fff ffff Contains the kernel.0 x0000 0000 f000 0000 to 0 x0000 0000 0fff ffff Reserved.0

6、x0000 0001 0000 0000 to 0 x07ff ffff ffff ffff Contains the application program text,application program data,the process heap,and shared memory or mmap services.0 x0800 0000 0000 0000 to 0 x08ff ffff ffff ffff Privately loaded objects.0 x0900 0000 0000 0000 to 0 x09ff ffff ffff ffff Shared library

7、text and data.0 x0f00 0000 0000 0000 to 0 x0fff ffff ffff ffff Application stack.Some item:Size、Res Data、Res Text、Res Set预备知识-HP-UX程序内存映像32 bits applications预备知识-HP-UX程序内存映像64 bits applications预备知识-Solaris/sparc程序内存映像预备知识-JVM&J2EE预备知识-CORBA预备知识-Tuxedo ATMIcore分析-core的类型和原因 SIGABRT(6)：异常退出，通常程序发现了错误并

8、调用abort，比如C+中没有处理的exception SIGBUS(7)：内存访问时的硬件故障，通常是地址未对齐 SIGFPE(8)：浮点数异常，包括除0、溢出等 SIGILL(4)：不正确的指令，通常是指针越界导致的ip非法，栈溢出等 SIGIOT(6)：执行I/O自陷 SIGQUIT(3)：退出并产生core SIGSEGV(11)：错误的内存地址，通常是访问的地址空间不存在，或者没有读写权限core分析-core文件的备份 AIX 设置环境变量 CORE_NAMING=yes，文件名形如 每个用户的core设置在/etc/security/user Solaris 利用coreadm命

9、令，例如 coreadm-i core.%f.%t HP-UX 利用coreadm命令，例如 coreadm-p core.%f.%t Linux/proc/sys/kernel/core_pattern/proc/sys/kernel/core_uses_pid=1 修改/etc/sysctl.conf，再 sysctl-p 或 echo core.%e.%p /proc/sys/kernel/core_patterncore分析-分析步骤 查看 core 文件大小 查看 limit 信息 查看 core 进程的环境变量 可先尝试 pstack 偶尔要收集系统核心参数 使用调试工具（gdb/

10、dbx/mdb）对照 core 时的日志 编写验证程序core分析-我们应用的常见core 不能分配更多的内存（除了limit、32位，还有OS特定的限制）栈溢出（栈空间不够，递归太深）abort，特别是c+的exception 头文件和实现不一致 使用了空指针 指针越界/内存溢出 多线程问题 重复freecore分析-自己实践从前面的类型中自己选，编写程序验证和实践环境：10.10.10.186(AIX)username:lixp10.10.12.161(HP-UX IA64)username:lixp10.10.10.199(Solaris)username:lixpcore分析-案例1(

11、AIX5.3,32Bits)iom:/tuxedo/iom/aioss/binls-lcore-rw-r-r-1iomaigrp270562700Dec3021:35coreiom:/tuxedo/iom/aioss/bindbxunif_execcoreTypehelpforhelp.usingmemoryimageincoreSegmentationfaultinmalloc_common.extend_brk/usr/lib/threads/libc.aat0 xd0355260($t1)0 xd0355260(extend_brk+0 x20c)90040004stwr0,0 x4(r

12、4)(dbx)(dbx)wheremalloc_common.extend_brk(internalerror:assertionfailedatline3650infileframe.c?,internalerror:assertionfailedatline3650infileframe.c?,internalerror:assertionfailedatline3650infileframe.c?)at0 xd0355260(dbx)core分析-案例2(Solaris10,32bits)currentthread:t26=1_lwp_kill(0 x0,0 x6,0 x0,0 x6,0

13、 xffbffeff,0 x0),at0 xed34d6ac2raise(0 x6,0 x0,0 xed3b5010,0 xed32cd88,0 xffffffff,0 x6),at0 xed2e69ac3abort(0 x0,0 x1,0 xefb9403c,0 xee4cc,0 xed3b34d8,0 x0),at0 xed2c20104free(0 x6fabf0,0 x709b48,0 x0,0 x80,0 x6a,0 x80000000),at0 xefb80b005operatordelete(0 x709b48,0 x1aaedf0,0 x1aaedfc,0 xc,0 x14e9

14、8,0 xec0ec2fc),at0 xef95631c6std:allocator:deallocate(0 xea0f4f7a,0 x709b48,0 x8,0 x4f,0 x1aaeb20,0 x0),at0 xede9ab907std:allocator_interfacestd:allocator,char:deallocate(0 xea0f4f7a,0 x709b48,0 x8,0 xea0f5334,0 x7ffffc00,0 xe),at0 xede9a6788std:basic_stringchar,std:char_traits,std:allocator:_unLink

15、(0 x1aaedf0,0 xea0f5358,0 x1a9ca28,0 x87a100,0 x1a78fc8,0 x8),at0 xede96d009std:basic_stringchar,std:char_traits,std:allocator:basic_string(0 x1aaedf0,0 x1aaedde,0 x0,0 xffffffff,0 x4f,0 x4f),at0 xede9605010SObdCallInfo:SObdCallInfo(0 x1aaedf0,0 x0,0 x0,0 x1aaedd0,0 x0,0 x0),at0 xede9bbc028VISThread

16、:_start(0 x10506c8,0 xea0f6000,0 x0,0 x0,0 xef8399b8,0 x1),at0 xef8399e0core分析-案例3 20110901 贵州账务资料 MDB core 问题性能问题诊断-常见性能问题 CPU瓶颈：锁问题、线程切换、逻辑问题 内存瓶颈：换页、缓存过大、逻辑问题 网络瓶颈：网卡、中断、cpu绑定 I/O瓶颈：底层问题、目录操作量大 数据库瓶颈：大数据量、索引、锁性能问题诊断-一般分析过程性能问题诊断-关键点关键点1：应用对资源的性能/容量要求是什么？有没有超过？关键点2：有没有做过基准测试？关键点3：平时有没有收集性能数据？性能问题诊

17、断-必读书籍AIX通用编程概念：编写并调试程序.pdf性能管理.pdf网络与通信管理.pdfHP-UXcaliper_user_guide.pdfhp-ux linker and libraries user guide for hp-ux 11.0.pdfJava Troubleshooting Guide for HP-UX Systems.pdfTunable Kernel Parameters-HP-UX Release 11i Version 1.6.pdfSolarisSolaris 10-Performance-Analysis using Dynamic Tracing(DTr

18、ace).pdfS10DeepDive_Performance.pdfDTrace User Guide.pdfLinker and Libraries Guide.pdfMultithreaded Programming Guide.pdf性能问题诊断-AIX工具性能问题诊断-HP-UX工具性能问题诊断-Solaris工具性能问题诊断-vmstat这个工具可以让我们看到很多性能问题！性能问题诊断-context switch资料来源：C and C+Application development on AIX.pdf,P115性能问题诊断-iostatAIXHP-UXSolaris性能问题诊

19、断-tcpdumptcpdump -adeflnNOpqStvx -c 数量 -F 文件名 -i 网络接口 -r 文件名 -s snaplen -T 类型 -w 文件名 表达式(1)想要截获所有210.27.48.1 的主机收到的和发出的所有的数据包：#tcpdump host 210.27.48.1(2)想要截获主机210.27.48.1 和主机210.27.48.2 或的通信，使用命令：（在命令行中适用括号时，一定要#tcpdump host 210.27.48.1 and (210.27.48.2 or 210.27.48.3)(3)如果想要获取主机除了和主机之外所有主机通信的ip包，使

20、用命令：(4)如果想要获取主机接收或发出的telnet包，使用如下命令：进程和端口的关系：pfiles、lsof、truss网卡和ip的关系：ifconfig性能问题诊断-netperf长连接：netperf-t TCP_RR-H 10.250.7.220-r 64 64短连接：netperf-t TCP_CRR-H 10.250.7.220 其它选项：-c-C-j性能问题诊断-AIX 64bits cout0 x09000000004922e0 _global_lock_common(?,?,?)+0 x40c0 x09000000000650f0 _rec_mutex_lock(?)+0

21、x17c0 x0900000000431c5c std:_Lock:_Wait()(?)+0 x2c0 x0900000000431bdc std:_Lockit:_Lockit(int)(?,?)+0 x1c0 x0900000000431b7c std:_Lockit:_Lockit(int)(?,?)+0 x2c0 x09000000057eb110 std:basic_ostreamchar,std:char_traits:sentry:sentry(std:basic_ostreamchar,std:char_traits&)(0 x144a443a0,0 x9001000a01dd

22、780)+0 x480 x09000000057e5d10 std:basic_ostreamchar,std:char_traits&std:operatorchar,std:char_traits,std:allocator(std:basic_ostreamchar,std:char_traits&,const std:basic_stringchar,std:char_traits,std:allocator&)(0 x9001000a01dd780,0 x144a44580)+0 x10c0 x09000000057e5784 COstreamVisitor:visit(const

23、CObdBasicListObject&,bool)(0 x144a44a20,0 x144a44d18,0 x0)+0 x3c0 x09000000057e90fc operator(std:basic_ostreamchar,std:char_traits&,const CObdBasicListObject&)(0 x9001000a01dd780,0 x144a44d18)+0 x6c0 x090000001a8fccf0 app_app_wyintf_app_busi4webfuncintf:MBusi4webFuncIntfApp:CIBusi4webFuncIntfImp:get

24、_allProdByBillId(SOBSession*,const std:basic_stringchar,std:char_traits,std:allocator&,const std:basic_stringchar,std:char_traits,std:allocator&,app_app_wyintf_app_busi4webfuncintf:MBusi4webFuncIntfAppDef:SOrderInfoList&,ob:CBSErrorMsg&)(0 x144a48618,0 x144a49f80,0 x144a47b50,0 x144a47b70,0 x144a47b

25、90,0 x144a479c0)+0 x12d40 x090000000615c5f8 VISTPoolWorker:begin()(0 x12340afb0)+0 x5c0 x09000000067692a4 VISThread:_start(void*)(0 x12340afb0)+0 x7c0 x09000000004934ec _pthread_body(?)+0 xdc性能问题诊断-进程占用内存大 动态库减小内存占用 32位 AIX 程序使用大数据 32位还是64位?多线程少进程?避免大数据 性能作为保障 定期重启性能问题诊断-案例分享 partition僵死 java的VisiGate问题 gprs办理业务慢问题 HP-UX的动态库执行权限问题 Solaris10上ping问题 Solaris10上“抓”系统重启 IE页面连接限制导致的Web白屏 计费：追话单慢啊性能问题诊断-详细案例 20080828_甘肃中间件主机CPU占用高的问题 20081006_辽宁中间件服务器 cache 的应用报告 20101001 CMPak 系统响应慢的问题