性能测试方案

《性能测试方案》由会员分享，可在线阅读，更多相关《性能测试方案（21页珍藏版）》请在装配图网上搜索。

1、集成测试方案封面目 录1.引言- 3 -1.1.编写目的- 3 -1.2.背景- 3 -1.3.定义- 3 -1.4.参考资料- 3 -2.测试策略- 4 -2.1.基准性能评测- 4 -2.2.负载压力测试- 4 -2.3.测试需求分析- 5 -3.测试方案- 9 -3.1测试流程简述- 9 -3.2用例设计- 10 -3.3.交易处理性能评测指标- 15 -3.4.资源性能监控指标- 16 -3.5.测试提交物- 20 -4.工作安排- 21 -4.1.测试准备- 21 -4.2.进入条件- 21 -4.3.进度安排- 21 -4.4.退出标准- 21 -5.测试风险- 22 -5.1.风

2、险分析预测- 22 -5.2.规避风险预案- 22 -附录- 23 -1. 引言1.1. 编写目的此计划编写的目的是为保证此次对XX系统生产系统进行的性能测试活动能够完整而有效。并对使用的策略、方法及需记录的结果进行说明。预期阅读范围为项目组人员及测试小组人员。1.2. 背景此次测试是针对XX系统生产系统。本系统由.提供。XX系统的用户包括客户公司.管理人员、运行维护人员、公司领导本公司负责执行本项目此次性能测试。1.3. 定义1.4. 参考资料本测试方案参考和引用以下文档：2. 测试策略性能测试隶属于软件测试中的系统级测试，它对软件在集成系统中运行的性能行为进行测试，目的是最大程度地模拟真实

3、业务场景，来验证系统的性能指标，及早确定和消除软件中与构架有关的性能瓶颈。目前所说性能测试一般主要是针对系统的性能指标制定性能测试方案，执行测试用例，得出测试结果来验证系统的性能指标是否满足既定值。性能指标里可能包括系统各个方面的能力，如系统并发处理能力，批量业务处理能力等。2.1. 基准性能评测在整个性能测试过程的开始时执行基准测试。透过执行少量的负载，如5至10个的虚拟使用者，建立一个性能基准，同时验证整个性能测试是可以正常执行的。若在测试过程中对系统进行了优化，则在性能测试过程结束时，也需要执行基准测试。以了解系统的性能是否有改善。2.2. 负载压力测试在此次性能测试的执行中，根据具体的

4、性能指标，分解为几种测试，并根据其关系，在不同的时间和空间内执行。 2.2.1. 并发测试并发性能测试的过程。是一个负载测试和压力测试的过程。即逐渐增加并发用户数负载，直到系统的瓶颈者不能接收的性能点，通过综合分析交易执行指标、资源监控指标等来确定系统并发性能的过程。从完整解决方案的角度考虑，此次测试包括： 应用在客户端性能的测试 应用在网络上性能的测试 应用在服务器上性能的测试2.2.2. 强度测试实施和执行此类测试的目的是找出因资源不足或资源争用而导致的错误。还可用于确定测试对象能够处理的最大工作量。强度测试主要是对服务器资源的测试，若测试环境的硬件设备与真实环境的硬件设备不同，强度测试的

5、结果也不同。我们将在测试的同时，对服务器资源进行监测。强调较长时间的考核。根据需求，将模拟以下两种情况： 日常业务疲劳强度测试 高峰业务疲劳强度测试2.2.3. 容量测试容量测试使测试对象处理大量的数据，以确定是否达到了将使软件发生故障的极限。还将确定测试对象在给定时间内能够持续处理的最大负载或工作量。核实测试对象在以下高容量条件下能否正常运行：连接或模拟了最大（实际或实际允许）数量的客户机，所有客户机在长时间内执行相同的、且情况（性能）最坏的业务功能。已达到最大的数据库大小（实际的或按比例缩放的），而且同时执行多个查询或报表事务。即包括： 独立数据量测试 综合数据量测试2.3. 测试需求分析

6、2.3.1. 系统版本信息 此次进入测试的软件版本为（待定）2.3.2. 测试系统的环境与架构2.3.3. 系统配置信息数据库服务器：应用服务器WEB服务器2.3.4. 分析系统工作量2.3.4.1. 系统业务需求QUESTIONSANSWERS从高阶的角度看，系统是如何被使用的？每个关键业务流程的操作步骤？（典型业务）关键业务流程中，需要被量测的关键步骤？2.3.4.2. 系统工作量需求 QUESTIONSANSWERS系统共有多少用户系统在一般时间，负载多少同时上线的用户？系统在高峰时间，分别负载多少同时上线的用户？系统每秒（分钟）必须处理多少交易？针对系统的业务关键交易，可接受的最小回应

7、时间是多少？针对系统的业务关键交易，可接受的最大回应时间是多少？客户端主流配置情况如何？系统在真实环境的负载可能会多大？分别由那些业务组成？2.3.5. 定义性能目标根据需求中对工作量的要求及经验分析得出目标系统用户数高峰时用户数一般时用户数并发用户数事务响应时间3. 测试方案3.1 测试流程简述第一阶段：测试计划收集分析需求定义测试策略分析系统工作量定义性能目标第二阶段：测试设计定义业务流程定义场景设计负载生成方案组织用例第二阶段：测试构建准备测试环境编译测试脚本建立场景第四阶段：执行测试基准测试并发测试强度测试容量测试网络性能测试第五阶段：测试结果获取测试结果测试结果分析生成测试报告3.2

8、 用例设计3.2.1 定义事务 3.2.1.1. 事务列表事务是相关的序号命名模块事务描述12345673.2.1.2. 参数列表（此节不提交）序号参数名参数对象事务名称3.2.1.3. 集合点列表注：集点点是指模拟用户并发测试时，等待足够数量的用户到达此处，同时发起操作，此操作会对系统造成相对较大的压力。序号命名模块集合点描述1234563.2.2 脚本创建及调试序号名称（.usr）包含事务包含集合点0102030405063.2.3 场景设计方案3.2.3.1. 加载方案序号名称加载方式持续时间停止方式1default schedule同时加载：所有Vuser同时加载直到完成全部停止2ra

9、mp up折线加载：每15秒加载5个Vuser30/60分钟缓慢退出3slow ramp up缓慢折线加载：每2分钟加载5个Vuser30/60分钟缓慢退出510 ramp up10粒度折线加载：每分钟加载10个Vuser1-8小时缓慢退出3.2.3.2. 集合点方案序号名称集合方式数值超时设定(s)1all arr所有用户到达集合点1202per arr一定比例的用户到达集合点30/50/1203num arr一定数量的用户到达集合点50/100120注：根据实际情况可能有所调整3.2.3.3. 场景方案序号名称描述用户数加载方案带宽1base_contr基准测试场景10default sc

10、hedule当前带宽（10M）2stre_contr基本强度测试场景300-600default schedule当前带宽（10M）3simu_contr并发测试场景500-80010 ramp up当前带宽（10M）4capa_contr容量测试场景400-500slow ramp up当前带宽（10M）5narrowband_contr网络带宽限制下的强度测试方案500-800ramp up512K/2M6widthband_contr无带宽限制下的强度测试方案500-800ramp up100M3.2.4 负载生成方案 3.2.4.1 单机方案主要应用于基准测试及B/S结构系统的测试。描

11、述机器名IP地址配置信息平台主测机1TEST1windows 2000/IE 6.0主测机2TEST2windows XP/IE 6.03.2.4.2 联机方案可用PC终端10台序号描述机器名IP地址配置信息平台1主控机TEST12负载生成器TEST23负载生成器TEST34负载生成器TEST45负载生成器TEST56负载生成器TEST67负载生成器TEST78负载生成器TEST89负载生成器TEST910负载生成器TEST103.2.5 测试用例矩阵策略编号描述脚本场景用户联机方案基准BASE_01_01base_contr单机BASE_02_02base_contr单机BASE_03_03

12、base_contr单机BASE_04_04base_contr单机BASE_05_05base_contr单机BASE_06_06base_contr单机并发SIMU_01_07simu_contr联机SIMU_02_08simu_contr联机 SIMU_03_09simu_contr联机SIMU_04_10simu_contrSIMU_11_11simu_contrTEST1.2simu_contrTEST3.4simu_contrTEST5.6强度STRE_01_12capa_contr联机STRE_02_13capa_contr联机STRE_03_14capa_contr联机STRE

13、_04_15capa_contrSTRE_05_16narrowband_contr联机容量CAPA_01联机CAPA_02联机CAPA_03联机CAPA_04narrowband_contr联机3.2.6 命名规则对象命名规则基本原则 使用独一无二的的名称。 名称应由字母和数字组成，并以字母开始，名称中可以包含_符号。 命名不允许是测试工具的函数或保留字。 用大写字母拼音缩写指代程序中功能模块，其余用小写英文。事务 以英文单词简单描述+Trans.首字大写,如登陆事务：LoginTrans. 相近业务（如查询）后缀二位序号表示，从01开始，在事务列表中描述清楚。 集合点以英文单词简单描述+“

14、-”+Ren.首字大写脚本以英文简单描述+二位序号.序号从01开始加载方案以小写英文简单描述，标明主要参数值场景以小写英文简单描述，标明主要参数值用例以策略的大写英文单词或缩写+“_”+序号运行结果以用例编号+执行时间（mmddhh）3.3. 交易处理性能评测指标3.3.1. 事务处理能力度量描述Average Transction Response Time平均事务响应时间Transactions Per Second (RPS)每秒事务数Total Transactions per Second每秒事务总数Transaction-Performance Summary事务性能摘要Trans

15、action Response Time Under Load事务响应时间（负载下）Transaction-Response Time(Percentile)事务响应时间（百分比）Transaction-Response Time(Distribution)事务响应时间（分布）3.3.2. I/O吞吐量度量描述Throughput吞吐量 以kilobyte为单位，客户每秒接收的数据总量3.3.3. 交易处理时间度量描述Min最小服务器响应时间Max 最大服务器响应时间；Mean平均服务器响应时间；Median中值响应时间；StdDev事务处理服务器响应的偏差，值越大，偏差越大；9090事务处理

16、的服务器响应时间3.3.4. 用户数量度量描述Number of Concurrent Users (NCU)并发用户数 在指定时刻，系统观察到的并发用户连接数。Number of Vusers 运行的虚拟用户数量3.3.5. 网络性能度量描述Current Bandwidth以位/每秒估计的网络接口的当前带宽。Packets/sec网络界面发送和接收数据包的速率。Packets Received/sec网络界面接收数据包的速率。Packets Sent/sec在网络界面发送数据包的速率。Network Interface, bytes total/sec网络带宽利用率注：根据测试过程中具体需

17、要可能会有调整。3.4. 资源性能监控指标3.4.1. 数据库系统Oracle资源监控度量描述CPU used by this session 这是在用户调用开始和结束之间会话所占用的 CPU 时间（以 10 毫秒为单位）。一些用户调用在 10 毫秒之内即可完成，因此用户调用的开始和结束时间可以是相同的。在这种情况下，统计值为 0 毫秒。操作系统报告中可能有类似的问题，尤其是在经历许多上下文切换的系统中Bytes received via SQL*Net from client 通过 Net8 从客户端接收的总字节数Logons current 当前的登录总数Opens of replaced

18、 files 由于已经不在进程文件缓存中，所以需要重新打开的文件总数User calls 在每次登录、解析或执行时，Oracle 会分配资源（Call State 对象）以记录相关的用户调用数据结构。在确定活动时，用户调用与 RPI 调用的比说明了因用户发往 Oracle 的请求类型而生成的内部工作量SQL*Net roundtrips to/from client 发送到客户端和从客户端接收的 Net8 消息的总数Bytes sent via SQL*Net to client 从前台进程中发送到客户端的总字节数Opened cursors current 当前打开的光标总数DB block

19、 changes 由于与一致更改的关系非常密切，此统计数据计算对 SGA 中所有块执行的、作为更新或删除操作一部分的更改总数。这些更改将生成重做日志项，如果事务被提交，将是对数据库的永久性更改。此统计数据是一个全部数据库作业的粗略指示，并且指出（可能在每事务级上）弄脏缓冲区的速率Total file opens 由实例执行的文件打开总数。每个进程需要许多文件（控制文件、日志文件、数据库文件）以便针对数据库进行工作注：根据测试过程中具体需要可能会有调整。3.4.2. 服务器操作系统HP UN资源监控度量描述Average load上一分钟同时处于“就绪”状态的平均进程数Collision rat

20、e 每秒钟在以太网上检测到的冲突数Context switches rate 每秒钟在进程或线程之间的切换次数CPU utilization CPU 的使用时间百分比Disk rate 磁盘传输速率Incoming packets error rate 接收以太网数据包时每秒钟接收到的错误数Incoming packets rate 每秒钟传入的以太网数据包数Interrupt rate 每秒内的设备中断数Outgoing packets errors rate 发送以太网数据包时每秒钟发送的错误数Outgoing packets rate 每秒钟传出的以太网数据包数Page-in rate每

21、秒钟读入到物理内存中的页数Page-out rate每秒钟写入页面文件和从物理内存中删除的页数Paging rate 每秒钟读入物理内存或写入页文件的页数Swap-in rate正在交换的进程数Swap-out rate正在交换的进程数System mode CPU utilization 在系统模式下使用 CPU 的时间百分比User mode CPU utilization 在用户模式下使用 CPU 的时间百分比注：根据测试过程中具体需要可能会有调整。3.4.3. 中间件服务器WEBLOGIC监控指标Monitor DetailsWebLogic Version Refers to the

22、 version of the WebLogic Server. StateRefers to the server state such as running and down.Listen Port Specifies the port at which the WebLogic Server listens for connections. Activation TimeSpecifies the time when the WebLogic Server was started.Availability Shows the current status of the server -

23、available or not available. JVM Heap SizeRefers to the current size of the JVM heap in kilobytes.Server Response Time Refers to the time required for the server to respond while monitoring.Listen Port Specifies the port at which the WebLogic Server listens for connections.Web Application DetailsName

24、Name of the Web Application.Number of Active SessionsSpecifies the number of sessions that are currently active in the Application.Maximum Number of SessionsRefers to the highest number of sessions that were open for an Application.Total Number of SessionsRefers to the total number of sessions that

25、were opened since deployment of an Application.Number of ServletsRefers to the total number of servlets of a web application. Click on the number, to find details on Servlets as explained below.Enterprise Java Bean DetailsNameMove the mouse pointer over the EJB name to view the JAR and EAR name.Type

26、Specifies the bean type - Entity, Stateless Session, Stateful Session, and Message Driven beansActivation CountRefers to the total number of beans activated (i.e. from the Secondary storage to Primary storage) for that particular Bean container.Passivation CountRefers to the total number of beans pa

27、ssivated (i.e. from the Primary storage to Secondary storage) for that particular Bean container.Threads WaitingSpecifies the total count of idle threads assigned in the thread queue.Cached Beans Current CountRefers to the number of Cached Beans in the containe r.Beans In Use CountSpecifies the numb

28、er of beans currently in use.Idle Beans CountSpecifies the number of beans that are currently idleTransaction Timed Out CountSpecifies the total number of transactions, which have been rolled back due to timeoutTransaction Rolled Back CountRefers to the total number of transactions that are rolled b

29、ack.Transaction Committed CountRefers to the number of transactions committed or completed successfully.Database Connection Pools DetailsNameName of the database connection pools that enables caching of database connection in the monitor easier through pools.Connection Pool SizeSpecifies the number

30、of database connection pool.Active ConnectionsMentions the number of active connections made to the monito r.Leaked ConnectionsThere can be some problems in connections that are checked out from t he connection pool but are not returned back to the pool and they are specified using the parameter.Thr

31、ead WaitingMentions the number of threads waiting for the connection.Thread Pools DetailsNameName of the thread pools.Total ThreadsRefers to the total count of threads assigned in this thread queue.Idle ThreadsSpecifies the threads that are idle or not used.Threads In UseSpecifies the threads that a

32、re currently in use.：根据测试过程中具体需要可能会有调整。3.5. 测试提交物此次测试工作本公司测试小组向项目组提交的文档将包括：n XX系统性能测试方案n XX系统性能测试分析报告n XX系统性能测试工作日志4. 工作安排4.1. 测试准备4.1.1. 人员安排4.1.2. 环境及工具、数据准备 测试环境需模拟生产系统真实环境，由客户企业信息化中心提供 测试实施需负载生成终端PC十部等设备由本公司负责提供 测试用软件工具由本公司测试小组负责准备，将根据测试需求，组合使用多种测试工具。 测试用数据池由本公司相关项目组负责提供。4.2. 进入条件 测试环境搭建完成 测试人员到

33、位 测试计划通过评审4.3. 进度安排4.4. 退出标准 正常退出标准：达到测试目标，即覆盖执行计划的测试用例，取得测试结果。整理测试结果，编制测试分析报告。 重新启动原则：通过调试后，预计被测系统的可靠性有所提高时，可再次启动 测试。 异常退出标准：发现以下情况时测试暂停或终止，就已完成的测试内容编制测试总结报告。并在报告中说明测试终止的原因 被测系统在强度稳定性测试中频繁出现异常（每小时出现一次以上）； 由于发生导致应用不能持续运行的故障，且不能在48小时内恢复； 时间与预算用完或其它不可抗力。5. 测试风险5.1. 风险分析预测分类状况描述严重性影响系统部署系统环境被破坏进行压力/强度测

34、试时，系统被破坏，无法通过系统重启恢复。5级无法进行测试执行，拖延进度，测试无法在预定时间内完成数据破坏数据被破坏进行压力/强度测试时，系统内数据被破坏，无法恢复。5级数据库内数据被破坏系统部署数据恢复的时间过长软件、硬件、中间件、数据库出现异常，需要修改或重新配置4级无法进行测试执行，拖延进度，测试无法在预定时间内完成硬件环境测试硬件故障测试用硬件设备发生故障3级无法进行测试执行，拖延进度，测试无法在预定时间内完成应用软件应用软件功能存在缺陷软件功能错误影响测试脚本录制或运行2级无法正常执行测试。造成无效测试测试执行测试工具无法支持测试工具版本或本身功能等限制无法达到预期目的2级可能会无法取

35、到预期结果或寻求解决方案过程中造成进度拖延。测试执行测试方案变更测试方案确定后，测试执行过程中又出现新的测试需求。2级测试成本没有控制、影响项目成本。增加测试时间。网络环境网络通信带宽存在瓶颈网络通讯速度慢1级无法准确测试整个集成系统的性能5.2. 规避风险预案分类应对措施负责人系统部署调度集成人员，重新建测试环境恢复软件系统，恢复数据库、中间件。安排高级技术人员解决现场出现的紧急问题： DBA/软件技术支持人员/系统集成人员。数据破坏在测试执行前，应对系统进行全面的备份，包括系统备份，数据备份和网络备份。同时制定详细的系统恢复方案。应用软件对应用软件功能进行修改、完善硬件环境准备备用机及可调度人员以应对突发情况。测试执行准备多套方案、准备技术资料及技术支持，以应对测试过程中出现的各种特殊情况。网络环境调整通信带宽根据现有带宽环境给出参考数值附录 通讯录单位姓名职能邮件电话 执行情况记录表序号用例编号是否通过结果文件执行时间执行人 调优记录表编号调优对象调整内容执行时间执行人 回归记录表序号用例编号是否通过结果文件执行时间执行人第 - 21 - 页 共 21 页