《软件性能测试过程详解与案例剖析》读书笔记

时间:2022-05-30 10:55:39

1、软件测试基本概念

响应时间

《软件性能测试过程详解与案例剖析》读书笔记

定义:对请求作出响应所需要的时间。是用户视角的软件性能的主要体现,带有主观色彩,没有绝对的长短。 “web页面合理响应时间标准”:2/5/10秒,10秒为上限

上图将响应时间划分为“呈现时间”和“系统响应时间”。“呈现时间”取决于数据在客户端收到数据后呈现页面所消耗时间,一般性能测试中不关注“呈现时间”,因为其很大程度上取决于客户端表现。因此此处响应时间多为“系统响应时间”。

页面响应时间可被进一步分解为:“网络传输时间”、“数据库延迟时间”和“应用服务器延迟时间”

并发数

业务并发用户数定义:同一时间段内访问系统的用户数量(虽然在访问系统,但不一定对服务端产生压力,比如只是在浏览系统)

服务端承受的最大并发访问数定义:从服务端承受的压力出发,描述的是同时向客户端发出请求的客户,体现的是服务端承受的最大并发访问数,常结合并发测试,来发现系统中存在的并发引起的资源竞争等问题。

例:如果一个OA系统有2000名用户,最高峰时有500人在线,其中40%在看系统公告,20%在发呆,20%在进行页面跳转,20%在填写表单。则:系统用户数为2000,在线用户数为500,业务并发用户数为500,服务端承受并发数取决于业务并发用户数及用户业务场景。

《软件性能测试过程详解与案例剖析》读书笔记

上图用于估算业务并发用户数: 其中,公式1中C为平均并发用户数,n是login session的用户数,L是login session的平均长度,T是考察的时间段的长度,一般为8小时工作时间。公式2给出了并发用户数峰值计算方式,该公式由泊松分布估算得到。若知道平均每个用户发出的请求数u,可估算吞吐量为u*C。

可通过“日志分析”对应用服务器进行分析,从而了解并发数数据,推荐AWStats开源工具(http://awstats.sourceforge.net/)

吞吐量

  • 定义:单位时间内系统处理的客户请求的数量,一般web系统用请求数/秒 或 页面数/秒来衡量。从业务角度,可用访问人数/天、业务数/小时衡量,或网络角度字节数/天

  • 在没有遇到性能瓶颈时,吞吐量可计算为:F=(N*R)/T。其中N表示用户个数;R表示每个用户发出的请求数量,T表示性能测试所用的时间。

  • 常用于分析分析吞吐量的图形是“吞吐量——VU数量(虚拟用户数)”的关联图。虽然吞吐量指标被看做系统承受压力的体现,但在不同并发用户数量的情况下,对一个系统施加相同的吞吐量压力,可能得到不同的测试效果。例如,对同一个系统,测试A采用100个VU,每个VU间隔1s发出一个请求;测试B采用1000个并发,每隔10秒发出一个请求;两者吞吐量均为100,但B会更容易出现性能瓶颈。 两个不同系统可能具有不同用户数和用户使用模式,但如果具有基本一致的吞吐量,则可以说他们具有基本相同的平均处理能力。

性能计数器:内存数、进程时间;资源利用率

思考时间(Think Time),或休眠时间

  • 用户操作时每个请求间的间隔时间。自动化测试角度来说,必须在测试脚本中让各个操作之间等待一段时间。

RBI测试方法:Rapid Bottleneck Identify

性能下降曲线分析法:单用户区域;性能平坦区;压力区域;性能拐点

LoadRunner的性能测试过程

2、性能测试的应用领域

方法分类:

  • 性能测试:模拟业务压力量和使用场景组合,验证系统是否具有所宣称的能力。
  • 负载测试:通过在被测系统上不断增加压力,直到性能指标达到饱和状态,目的是找到系统的处理极限。通过“检测-加压-直到性能指标超过预期”的方法
  • 压力测试:测试系统在一定饱和态下,例如CPU、内存等在饱和态下系统的会话能力,以及系统是否会出错。通过增加访问压力(如并发量),检测系统有无出错信息,以及系统响应时间,以及系统在一段时间内的稳定性。一般会以*“CPU使用率达75%以上,内存使用率达70%以上,系统错误率,响应时间”来作为描述。
  • 配置测试:通过对系统软硬件调整,了解不同配置对系统性能影响程度,从而找到最优分配原则。一般用于性能调优和规划能力
  • 并发测试:通过模拟用户并发访问,测试多用户并发访问一个应用时是否存在死锁或其他性能问题。主要关注内存泄露、线程锁、资源争用等。可针对系统或某种架构设计进行,可在开发各阶段使用。
  • 可靠性测试:通过给系统加载一定的业务压力(如资源在70%~90%使用率),让应用持续运行一段时间,测试系统是否稳定。
  • 失效恢复测试:针对有冗余备份和负载均衡的系统设计,可以用来检验如果系统局部发生故障,用户能否继续使用系统,以及用户将受多大程度的影响。

应用领域:

  • 能力验证:对一个已部署系统的性能进行验证。如性能测试,可靠性测试,压力测试,失效恢复测试
  • 规划能力:关心如何才能使系统具有我们要求的性能能力,如系统能否支持未来一段时间内的用户增长。 是一种探索性测试。如负载测试,配置测试和压力测试
  • 性能调优:配置测试,负载测试,压力测试和失效恢复测试
  • 发现缺陷:并发测试,压力测试,失效恢复测试

3、性能计数器及性能分析方法

操作系统级别、应用服务器级别和数据库级别上查看和记录分析

操作系统计数器:

  • 内存分析(应用命令vmstat):
  • 处理器分析(命令top):
    1. 查看System\%Total processor Time性能计数器计数值:体现服务器整体的处理器利用率(或平均利用率)。当持续超过90%,则面临瓶颈,需增加处理器
    2. 查看每个CPU的Processor\%Processor Time 和 Processor\%User Time(系统非核心操作消耗的CPU时间,当服务器是数据库服务器时,可能是数据库排序或函数操作消耗时间) 和 Processor\%Privileged Time
    3. 查看 System\Processor Queue Length,当其大于CPU数量总数+1时,说明出现处理器阻塞。当Processor\%Process Time较高时一般伴随阻塞,反之则不必然。
  • 磁盘I/O分析方法:针对数据库服务器、或文件服务器、流媒体服务器; Disk/Transfer 介于15~30ms为良好,超过60ms则需考虑更换硬盘等
  • 进程分析方法:查看进程的%Processor Time值,反应进程消耗的处理时间。查看页面失效。
  • 网络分析

    应用服务器计数器:IIS应用服务器,Tomcat

    数据库计数器

4、性能测试工具原理

性能测试不等同于性能测试工具;性能测试脚本录制是指录制服务端和应用之间的通信数据,而非GUI操作,需先选择录制的协议

性能测试架构(以load runner为例)

《软件性能测试过程详解与案例剖析》读书笔记

  • 虚拟用户脚本生成器
  • 压力产生器:用于根据校本内容产生实际的负载。(一般一台具有512MB内存的PC机可顺利运行200个左右的VU)
  • 用户代理:是运行在负载机上的进程(可被看作压力产生器的组成部分),一般以后台方式在负载机上运行
  • 压力调度和监控系统
  • 压力结果分析功能