移动APP测试方法

《移动APP测试方法》由会员分享，可在线阅读，更多相关《移动APP测试方法（16页珍藏版）》请在装配图网上搜索。

1、超赞！移动APP测试实用指南译者注：本文从测试人员的角度出发，提出了 100多个在测试移 动App过程中需要考虑的问题。不管你是测试人员、开发、产品 经理或是交互设计师，在进行移动App开发时，这些问题都很有 参考价值。我和Queen合力译出此文，分享给大家，希望有所 帮助和启发。测试人员常被看作Bug寻找者，但你曾想过他们实际是如何开展 测试的吗？你是否好奇他们究竟都做些什么，以及他们如何在一 个典型的技术项目中体现价值？作者将带你经历测试人员的思维过程，探讨他们测试移动App时 的各种考虑。本文的目的在于揭示测试人员的这一思维过程，并 展示他们通常所考虑内容的广度和深度。1. 测试人员需要

2、询问问题测试人员的核心能力在于提出有挑战性的相关问题。如果你能将 调查、询问技巧和技术、产品的知识结合起来，渐渐地，你也会 成为一个好的测试人员。比如，测试人员可能会问：o 这个App应该在什么平台上使用？o这个App到底是干什么的？o如果我这样做，会发生什么情况？诸如此类。测试人员能从各种场景中发现问题，它们可能来自对话、设计、 文档、用户反馈或者是产品本身。这些可能性太多了 因此， 让我们一探究竟吧！2. 从哪里开始测试 理想情况下，测试人员应该掌握所测产品的所有最新细节资料。 但事实上这很少见，因此，像其他人一样，测试人员只能将就使 用手上有限的资料。但这不是不能测试的借口！测试人员其实

3、是 可以从内部和外部多种不同的来源处收集信息的。这个阶段，测试人员可以问这些问题：o有哪些信息：规格？项目会议？用户文档？知识渊博的团队成员？有支持论坛或者 是公司在线论坛提供帮助？有现存Bug的记录吗？o该应用是在什么系统、平台和设备上进行运作和测试？o该应用是处理什么类型的数据（比如个人信息、信用卡等等）？o该应用有整合外部应用（比如API和数据来源）吗？o 该应用需要用到特定的移动端网页吗？o现有消费者如何评价这个产品？o有多少时间可用于测试？o测试的优先级和风险是什么？o哪些用户使用起来不愉快，为什么？o如何发布和更新？o基于以上收集的信息，测试人员可以制定测试计划了。通 常预算决定测

4、试方法，一天测完，一个星期或一个月测完 的方法肯定不同。当你逐渐熟悉团队、工作流程以及这类 问题的解决方式时，你就更容易预测结果了。案例：FacebookApp的社会评论当作为一名测试人员收集信息时，我喜欢选用FacebookApp作为案例，因为用户的抱怨到处都是。以下 仅仅展示了部分遇到难题的用户在iTunesAppStore中发表 的评论，网络上还有很多。iPhone上的FacebookApp有很多负面的评论如果我接受挑战去测试Facebook这个App，我肯定会考虑这些 反馈，否则就是傻子。3. 测试人员的创造力你可能知道这个App原本想做的事，但是它究竟可以做什么事呢? 用户实际上是如

5、何使用它的？测试人员擅长作为旁观者来思考， 尝试不同的事物，以及不断地询问“如果。会怎么样和“为什 么的问题。比如，移动端的测试人员常常以不同的用户角色进行测试一一当 然有点夸张，但是，这种把自己当成不同用户进行思考、分析和 设想的能力对测试是备受启发的。测试人员可能会设想自己是以下用户：o 毫无经验；o很有经验；o爱好者；o黑客；o竞争对手；当然还有更多可选的角色，这主要取决于你们所开发的产品是什 么。其实除了角色特点外，其操作行为和工作流程也很重要。人 们使用产品方式常常很奇怪，比如：o 在不应该返回的时候返回了；o不耐心而且多次敲按键；o输入错误的数据；o不理解该怎么做；o可能没有按要求

6、进行设置；o 可能会自以为是地认为自己知道该做什么（比如通常不阅读说明）。测试人员遇到这些问题时，也常常发现意料之外的Bug。有时候， 这些Bug微不足道，但是更深入的调查就会发现更严重的问题。很多问题是可以被预先确定和测试的。测试移动端App时，以下 的问题并不都有关，但是也可以尝试问问：o是否按照所说的来做呢？o是按设计完成任务的吗？o不是按设计完成任务的吗?o如果处于一直被使用或者负荷情况下，状况会怎么样？会反应迟钝吗？会崩溃吗？ 会更新吗？有反馈吗？o崩溃报告会反馈到App吗？o用户可能有哪些创造性的、逻辑性的或是消极的导航方式？用户相信你的品牌吗？o用户的数据安全如何？o有可能被中断

7、或是被破解吗？o运行到极限时会发生什么状况？o会要求打开相关服务吗（如GPS、Wi-Fi）？如果用户打开会怎样？没打开又会怎样?o 将用户重新引向哪儿？去网页？还是从网页到App ？这会导致问题出现吗？o沟通过程和市场反馈是否符合该App的功能、设计和内容？o登录流程是怎样的？能在App上直接登录还是要去网页端？o 登录是否整合了其他服务，比如用Facebook和Twitter帐号登录？案例：RunKeepersgyUpdateRunKeeper，是一款能跟踪你健身活动的App，最新发布的版本 里有个“目标设置的功能，对此我很感兴趣去体验一下，一部分 从测试人员的角度来看，更多的是作为一个真心

8、喜欢产品的用户 来体验。但我发现了一些问题：1. 默认单位是英镑，我却想要把公斤作为重量单位；2. 英镑和公斤间的切换根本不好用；3. 当设定目标后，会导致展示错误的数据和图表，这让我很迷惑；4. 由于第3条，我想删除目标，但却根本找不到删除的地方；5. 为了解决这一问题，我不得不改变的个人体重的值，直到“目 标设置“范围之内，这样目标达到了，就能重新设定目标了；6. 我会再次尝试添加目标；正因为以上疑惑，我花了更长的时间把玩它，看能不能找到其他 的问题；以下是一些发现问题的屏幕截图:AugustSeptemberCorrent WeightSMrt DateEnd Date07/30/01

9、F：ck 泌 |亍 1&157 40E3Gwl brailsWefeght Loss Goal该App的最新版本包含了一个新的“目标部分。设置日期的时候，我发现开始和结束的 日期都可以从公元1年开始，另外，为什么有两个1年可选（译者注：年份那列从上往 下应该显示为“1、2、3）？另一个Bug，是“当前体重部分的一个拼写错误，当清空数 据时会出现拼写错误的“Enter、（应用中用的是Etner ），这 只是一个小Bug，但是看上去非常不专业。发现问题没有捷径，你只能反复的慢慢的试用。每个App及其团队都会面临很多不同的挑战。但是，测试人员的典型 的特点就是：超越极限，做一些非常规的、可以改变周围

10、事 物的事情，保持长时间的测试（测试几天、几个星期甚至几 月，而不是几分钟就测完），即使明明知道这些事情是不可 能发生的。这些也正是可以找到和引出的场景所在。4. 哪儿有所有的数据？测试人员喜欢从数据上找问题，这让开发人员有时候很郁闷。事 实上，用户或者是软件开发人员在信息流中确实太容易迷惑了， 因为可能会出现很多错误，所以基于数据和云的服务更为重要。也许你可以尝试在以下场景中检查出问题：o移动设备数据已满；o测试人员移除了所有的数据；o测试人员删除了 App，那数据怎么办？o测试人员删除并重装了 App，数据怎么办？o过多或者过少的内容导致设计和布局的改变；o在不同的时间段和时区使用；o数据

11、不同步；o同步被中断；o数据更新影响其他的服务（比如网页和云端服务）；o快速处理数据或是处理大量的数据；o使用无效的数据；案例：Soup.me的错误我试用过的Soup.me，是一个可以通过地图和颜色将个人 Instagram中的照片进行分类的网页服务，但是我却没用多 久。当注册时，它提示我Instagram上的照片不够多，然 而我的账号中明明有500多张照片。我并不清楚问题出在 哪儿，也许是数据问题，也许是表现层的问题，也有可能 是该App出错提示的问题。另一个案例：QuicklyticsQuickytics是一个iPad上的网页分析应用。在使用过程中，尽管 我已经从Google Analyt

12、ics中删除了网站配置，但它仍然存在。 这里有一些问题： 我已经删除了网站配置，为什么还是有这些信息？左边模块没有解释为什么“该操作无法完成，那么是不是可以改 进以避免迷惑用户呢？LocnlloriPruanY测试人员也很喜欢测试极限数据下的情况。他们常常是作为典型用户来了解这个App,所 以极限下的测试并不会花很长的时间。数据是混乱的，所以测试人员要考虑到软件的用 户类型，以及在不同的数据场景下如何进行测试。比如，他们可能尝试以下场景：o测试用户可输入的极限值；o用重复的数据进行测试；o在全新无数据的手机里测试；o在老手机上测试；o预先安装不同类型的数据；o考虑聚集大家的资源来进行测试；o

13、让一些测试自动化；o用一些超出预期的数据去测试，看它是怎么处理的；o分析信息和数据是怎么影响用户体验的；o不管用户看到的是否正确，都要一直问问题。5. 创建出错提醒和消息这里，我不是从设计师的角度来要谈论好的错误消息的设计，而 是想从用户或是测试者的角度来看这个问题。出错提醒和消息是 测试人员很容易发现问题的地方。关于错误信息要问的问题：o请考虑以下问题：o出错提醒的UI设计可以接受吗？o错误信息内容可以理解吗？o错误信息是否保持一致？o这些错误信息有帮助吗？o错误信息内容是否合适？o这些错误是否符合惯例和标准？o这些错误信息本身是否安全?o运行记录和崩溃是否能被用户和开发者获得？o是否所有的

14、错误都被测试过？o用户处理完错误信息后，将处于什么状态o是否在用户应该接受错误信息时，却没有错误信息弹出？o错误信息会影响用户体验。然而，不好或无用的出错提醒 无处不在。虽最理想的状态是避免用户遭遇错误信息，但 这几乎不可能。出错情况的设计、实现和确认可能与预期 相反，但是，测试者往往善于发现意料外的Bug，并能仔 细考究是否改进它们。The pags you qm,盹 i can writs a masaago 邸 an err# Where tf os? 1错误信息的案例: 我非常喜欢举iPhone上FacebookApp这个例子。这些冗 长又晦涩的文字不仅仅试图涵盖了许多不同的场景，而且

15、 还可能无端地丢失。哼12247EHO-.024JK 尊2Z49H 詈 H*H rrutv ba bwnpcMwl忡 rjfiMnilBbi*, bm link yati disked on mar 址 brc-han df EKp#cd. ar younot h*wbapaqia.可能如下的消息提示框可以列入反例 名人堂了？畋.q .HlJAmazing eppfreeIntColage v&raion 1.0.5 i白 chji now with great updae(1. Shake to clear alh photos .rs&t frame igycwt 2.Mre cool l

16、ar/QUt 3. hAors f-rriK borders. Fix ad banner tock Dane buitwi bug gnd Srne other bugs fixed .Ekwnl&ad it km tor fre-eJ Ihenka lor yaur auppart!tjCajor 民ciHPKtu TA?前 3 ft/ckerfFree Photo Prints看看这款iPad上的The Guardian应用，如果我不想重试，该怎么办呢？6. 特定平台上的注意事项对于任何项目团队成员来说，了解相关平台的业务、技术和设计 上的限制，都是至关重要的。那么，移动端App的测试人

17、员应该找出哪些平台相关的问题呢？o是否遵照了这个特定平台的设计规范？o与竞争对手以及行业内的设计相比如何？o是否适应外围设备？o触摸屏支持手势吗，如：轻拍、双击、长按、拖动、摇动、夹捏、轻拂、滑动?o 这个App可以被理解吗？o当转动设备的方向时，有什么变化？o 可以使用地图和GPS吗？o有用户指南吗？o电子邮件的工作流程友好吗？o通过网络分享时，它运行得流畅吗？是否整合了其他社交应用或网站？o当用户正在进行多任务工作，并在不同App间切换的时候，它还运行正常吗?o当用户更新它时，它是否会显示时间进度？o 默认设置如何?有经过调整吗？o使用音效会有不同吗？案例：ChimpStatsChimpS

18、tats是iPad上一个查看邮件广告详情的应用。我第一次使用这个应用是处于横屏 模式。当我需要输入API密码的时候，我被困住了。我根本不能在水平模式中输入API 密码，直到切换成竖屏模式，才输入成功。Welcome! Lets get started.ro蝴况Hp dtui! LATriuTdK iWJ W FW* tr Wfey. fear Vf try dw jvnd 场 !*： d! TMtActa.rbfcCm-aEEliwWelcome! Lets get started.Ai wdrr 脚中IRMruu* CALTiuLErLFd re .tew ai .4FTJwy. fltcj

19、r rtW bry ar? 1 f jiane，加E/咽 iD.cr rmlrihhTfi nrn enj imM忸母 c- byrJr JkvtJxrfTKt 也g连接和中断的问题当连接断断续续或是意外中断时，很多有趣的 事情就可能发生了。你是否尝试过在以下场景中使用App:o 走动环境下？o Wi-Fi连接下？o 没有Wi-Fi的情况下?o 3G模式下？o间歇性地连接？o设置为飞行模式？o 一个电话打进来时？o接收到一条信息时？o接收到一个提醒通知时？o在电量很低甚至自动关机时？o被强制更新时？o收到一条语音留言时？这类测试最容易发现错误和Bug。我强烈建议你在这些情况下进 行测试（不仅仅

20、只是开机、确认它可以正常工作，还要尝试用户 使用的整个流程，并在特定的时间间歇内强制连接和中断）。o这个App提供了足够多的反馈吗？o数据传输为用户所知吗？o它会慢慢停止，然后崩溃吗？o开启时会发生什么？o任务完成中会发生什么？o是否可能丢失未保存的操作？o你可以忽视通知提醒吗？忽视后会发生什么？o 你可以对通知提醒做出响应吗？响应后会发生什么？o对某些问题，使用错误信息是否恰当？o当登录过期或超时会发生什么？7. App的维护想要加快整个测试的过程很简单，只需测试一次就一劳永逸了， 对吗？请三思。此刻我遇到的一个问题是：iPad上的一些App在更新后，再也 不能下载了。对于一个用户来说，这是

21、非常令人沮丧的。可能，这也是开发者控制不了的。谁知道呢？我只知道它对于用 户来讲是不能用的。我也尝试卸载App，然后重装，但这个问题 始终未能解决。我在网上大量的搜索，除了找到一些关于更新操 作系统的建议外，没有任何其他解决方式。可能，下次有空时候， 我还会再试试看。关键问题在于：如果一个应用只被测试过一次，且只有一次（或 仅在很短的一段时间内测试过），很多问题你都发现不了。一个 App自身可能不会发现变化，但外界条件却可以让这些问题发生。当外界环境持续变化时，App又会受到哪些影响呢？让我们问问 自己：o 我可以下载这个App吗？o我可以下载并安装更新吗？o更新之后还能使用吗？o当很多App

22、处于等待更新状态时，我能更新它吗？o系统更新后，它会发生什么？o系统未更新，它又会发生什么？o 它会通过iTunes自动同步下载到其他设备吗？o它自动执行任务或测试有意义吗？o它会连接到网络服务吗？这会带来什么不同？o移动端的App每一个版本发布后，最好都去测试一下。每 次发布新版本时，先定义最高优先级测试，确保其能在各 种条件下进行（主要是在主流的平台上）。随着时间的推 移，测试可以变得自动化。但请记住，自动化不是灵丹妙 药，发现问题，只能通过人的眼睛。案例:iPhone上的Analytics应用我使用这个App已经两年了，之前它一直没有什么问题。 但是现在，它却显示出我某些网站数据为零（但

23、实际上， 不止一个人一个月内访问过我的网站！）。从App Store 的评论来看，我不是唯一一个遇到这个问题的人。100%N 白w Visits100%Ttie old API W3j turned off in July 201 22- Gongle turned cHAPI vl .册* bv dudsmp sn on 2 S-J.ul-2012TTiit 3p口 ur眼小应updtiiXf lw u如 Uld nWQ-Wgle? 加-whiQfi wt帽5. Not so good now lvl-66)* by David C. UK on 1 7-Jul-2012.Usee tris

24、 app fbr 2 yemr 宾 a rad great = 5 star.Bill NOW: wont wor*f at KI, Seamed to h河匕 jrashed and no rnsssage ar update From 1tie company. So very:poor customer service = 0 star.Sc nori-nialhenatical average = 2 stsr.肌 Rubbish (vl.SB)屯by Rural web an 21-J ul-2012Work-Bd gre-at fbr 岂 femg tinlB but guckte

25、rdy sloppEd vrarkingB No updates or massages so dons buyAvg Page ViewsBounce Rate另外一个案例是iPhone上的Twitter。更新并启动这个App后，我瞬间看到了如下这个 提示语： 你的时间线数据显示为空，你至今没有关注任何人（但我是拥有5年经验的活 跃用户）。我担心了一会儿，庆幸的是，这个消息很快就消失，然后加载出历史数据。Reviews (92)皿-UKptfciiwwiewReferral Sources19 Jun 2012 - 18 JulRoiwrfe www. ros i e sher.* QF-oorlurndUdAj职inmT op 电5Sc-arc-h4Rubbish8. 测试不是对错判断带着问题，我们讨论了移动测试的一些方面，但这些前提是: 才能发现问题。通常，测试被认为是完全合乎逻辑的、可计划的和可预测的， 过程包括：测试脚本和测试计划、通过和失败、正确和错误 的反馈。走完这些测试流程就离真相不远了。当然，如果必要，我们可以用上述方法进行测试，但这并不 是测试的目的。我们不仅是为了创建测试用例、发现Bug，更重要的是找到关键的问题，为项目组决定什么时候发布 App提供有价值的信息。而找到那些关键问题的最好方法就 是：提问！