验证探索：如何衡量和验证UE设计的效果
正文共：5945字，预计阅读时间： 15分钟
前段时间在项目复盘会上，业务方向设计团队提出一个值得深思的问题。
如何衡量和验证设计的效果？
我认为这是一个很好的问题，之前我在与其他设计师朋友交流时，也尝试请教过他们这个问题：你是如何衡量和验证你的设计效果的？
我得到了五花八门的答案，有的人拿业务数据来说话，有的人用客户反馈来答复，有的人则坦言需要靠老板来进行评估。
也许这些答案在各自的环境和场景下都具备一定的合理性，但因为他们的场景并没有与我当前的业务场景契合，所以他们的方法无法为我所用。
于是我开始思考究竟怎样的衡量和验证方法，能够应用在我当前的业务场景内。绝大多数设计岗位存在的意义是为了达成目标或解决问题。那如何判断设计目标或问题是通过我的设计方案来解决的，解决方案好不好？设计的价值又是如何被量化的？是否有客观的评价方式？
相信很多人会回答我，可以通过数据来进行量化。的确可以通过数据来进行设计价值量化，但新的问题也来了：
在方案设计之前，我如何知道需要监测哪些数据来辅助验证设计效果？
在拿到数据之后，我又该怎样通过数据来判断我设计的效果究竟是好还是坏？
带着问题，我查阅了一些资料，参考了Google产品团队定义的UX指标，发现数据指标可以通过用户体验质量和产品目标两步来确定。
用户体验质量简单来说即你想要观测设计的哪些维度的效果。
产品目标则是基于你想要观测的这些方面，按照「目标 → 标志 → 指标」的顺序确定数据指标。
结合这种方法来制定数据指标，思路会更加清晰明了，总体过程会呈现出这样一个矩阵。
用户体验质量
表格左列代表着待考量的用户体验质量维度，他们通常分为如下五类：
1、情感
用于衡量用户使用产品时的态度和感受，例如用户对本次功能的满意程度、用户对操作流程感知的易用性程度等。
1.1 功能满意度
（满意人数-贬损人数）/总测试人数
举例说明
满意人数指打9-10分的人；贬损人数指打0-6分的人数。如果一个产品的满意人数有70人，贬损人数有30人，那么满意度为（70-30）/100=40%
数据用途
1.2 Feedback问题占比
通过反馈平台收集的相关活动、功能或界面的问题反馈数/总反馈数
举例说明
在某任务上线一周后收到的3000条反馈中，有800名用户反馈新的界面不会操作或不好用，那么说明占比26%的反馈人群对本次设计存在不满意点。
数据用途
2、参与
用于衡量用户对新产品或新功能的参与度，例如每位用户每周对新功能的访问次数或每位用户每天在产品内花费的时长。
如下罗列的指标类型能够用于衡量设计在场景转化中发挥的作用。
2.1 活跃用户数
一段时间内访问的已登录用户数，通常分为日活（DAU）和月活（MAU）。一个用户一天通过相同的渠道多次访问产品，DAU仍只算一个；在一月内多次访问产品，MAU仍只算一个。
举例说明
10月15日上线新功能或新活动，一共有300万个登录用户访问了平台（包含通过其他渠道链接进入），则10月15日当天的DAU为300万（去重）；截至11月15日共有1800万个登录用户访问了平台，则该30天的MAU为1800万（去重）。
数据用途
活跃用户数用于衡量产品对用户的粘性。方便产品和设计人员了解产品的每日用户情况，了解产品的用户变化趋势。
2.2 页面访问次数（PV）和人数（UV）
PV=运营活动/页面/功能曝光在用户视野内的次数。
UV= 运营活动/页面/功能曝光在视野内的用户数，一个终端只算一个UV。
举例说明
用户进入首页，则只算一次访问次数，用户刷新页面/退出重进时访问次数累加。
用户进入首页，则只算一个展现UV，退出重新进来UV不累计。一个用户在00:00-24:00内多次进入首页，则UV只算一个。
数据用途
2.3 点击次数和人数
点击次数=点击行为发生的次数（不去重）
点击人数=有点击行为的用户数（去重）
举例说明
10月15日有400万人访问首页，其中10万人点击首页中的某按钮，则该按钮的点击人数为10万；10万人点击了12万次，则点击次数为12万。
数据用途
2.4 PV点击率和UV点击率
PV点击率=点击次数/页面访问次数（PV）
UV点击率=点击人数/页面访问人数（UV）
举例说明
100个用户访问了首页，其中只有10个用户点击了首页上的筛选项，但是每人平均点击了5次，那么UV点击率为10%，但PV点击率为50%，说明筛选内容并不是对所有用户都合适，但对那些多次点击的部分用户而言，会觉得筛选的内容很符合他们的需求。
如果100个人都点击了，那么UV点击率为100%，说明筛选内容对所有用户都比较适合。
数据用途
2.5 人均点击次数
点击次数/点击人数。
举例说明
例如10月16这天有10万人点击了筛选按钮，其中一共点击了12万次，那么人均点击次数为12/10=1.2次。
数据用途
2.6 平均停留时长
所有用户的停留时长总和/用户数。
举例说明
所有用户在某任务页的停留时长为100万小时，一共在某任务页停留的用户有200万，则平均停留时长为0.5小时。
数据用途
2.7 人均使用时长
用户平均每天停留在产品的时间。
举例说明
10月16日有100万个用户一共在某产品使用了50万个小时，则10月16日的人均使用时长为0.5个小时。
数据用途
3、接纳
用于衡量上线产品或功能的新用户增长程度。例如功能上线后最近7天创建的帐户数或使用该功能的新用户占比。这对于新产品功能或正在重新设计的产品特别有用。
3.1 新用户留存数
一段时间内再次访问的新用户数，通常分为次日留存、7天留存、30天留存指标。
举例说明
如下虚拟数据，1月，新增用户有80人。到2月时，1月新增的80人中的75人再度访问了产品，则第二个月的新用户留存数为75人，流失数为5人。
数据用途
3.2 新用户留存率
某周期内新用户留存数/某周期内第一天访问的新增用户总数，一般周期为次日、7日或者30日。
举例说明
接3.1案例，1月新增用户80人，2月留存人数75人，1月新增用户在2月的留存率为75/80=93.75%。
日留存率通常用来衡量产品粘性；
周留存率通常用于判断产生的忠实用户数；
月留存率通常用于衡量版本迭代的效果，例如产品改版后，月留存率提升了，且其他变量没有变化时，说明设计改版成功。
通过留存率可以很宏观的判断产品的用户粘性是上升还是下降，这也是产品体验最直观的数据。
3.3 新用户流失率
某周期内新用户流失数/某周期内第一天访问的新增用户总数，一般周期为次日、7日或者30日。
举例说明
接3.1和3.2案例，1月新增用户80人，1月新增用户在2月的留存率为75/80=93.75%，新用户流失率为（100-93.75）%=6.25%。
数据用途
4、保留
用于衡量上线产品或功能的老用户稳定程度，具体包含现有用户的留存率和流失率。例如在上线7天内产生的活跃用户在上线30天后是否仍然在活跃？
4.1 老用户留存数
一段时间内再次访问的老用户数，通常分为次日留存、7天留存、30天留存指标。
4.2 老用户留存率
某周期内老用户留存数/某周期内老用户总数，一般周期为次日、7日或者30日。
4.3 老用户流失率
某周期内老用户流失数/某周期内老用户总数，一般周期为次日、7日或者30日。
5. 完成
用于衡量流程设计的合理性，通常适用于产品中非常注重任务的区域。例如某任务的完成率和UV转化率。
5.1 完成率
完成的操作次数/开始操作的次数
举例说明
10月15日上线某任务，用户点击领取任务按钮10万次，最终完成提交按钮2万次，则完成率为 2/10= 20%
数据用途
5.2 UV转化率
必要流程中的下一步环节操作人数/上一步环节操作人数。通常环节越多，UV转化率越低，流失率越高。
举例说明
10月15日上线某任务，当日从任务入口点击进入该任务页的人数为1万人，点击Yes/No选项的人数为7000人，那么该环节的转化率为7000/10000=70%，流失率为30%；最终点击Submit按钮完成提交的人数为4000人，那么该环节的转化率为4000/7000=57%，流失率为43%。
数据用途
5.3 页面跳出率
退出当前页并在30分钟内未再次打开的用户数/在当前页面的总人数
举例说明
用户通过首页进入某任务页，然后跳出并在30分钟内未再次打开的用户有1万人，假设进入该任务页的UV为5万人，则跳出率 1/5 =20%
数据用途
产品目标
表格横向代表从业务维度的思路梳理：
1. 目标
2. 标志
目标确定了，那什么信号标志着设计达到了或没达到目标呢？
比如某页面在完成指标的成功标志是用户筛选后找到了自己想要的任务并进入了任务界面。失败标志是用户筛选后没有找到自己想要的任务，在筛选环节流失了。
3. 指标
指标比标志更加落地。例如，「用户筛选后找到了自己想要的任务并进入了任务界面」这一标志用指标来体现就是「从筛选按钮到任务界面的UV转化率」。
通过「目标 → 标志 → 指标」流程，结合用户体验质量指标，就能清楚地知道要验证设计的哪些方面，需要关注哪些数据来达到目的。
提防数据陷阱
1. 寻找正确的数据目标
有一位作家打算重新设计他的个人网站，用来宣传他将要写的新书。
在设计网站时他做了个 AB两个方案。A 方案在网页上非常详细地介绍了将要写的这本书，然后留了一个可填写联系方式的输入框；B 方案则没有任何关于书的介绍，仅放置了一个可填写联系方式的输入框，并只写了「如果你是设计师，你应该对这本书感兴趣。请填写你的联系方式」一段提示。
最终A 方案只收到了 33 个联系方式，而没有任何介绍性内容的 B 方案却收到了 77 个联系方式。
那么，从这个实验结果可以推断出 B 方案更好吗？
事实上可能并不是。
这位设计师设计网站的初衷是为了宣传预售他的新书，衡量完成指标的标志是「有多少人对这本书感兴趣且可能会购买它」而不是「收到更多联系方式」，而联系方式数量的数据无法成为「有多少人对这本书感兴趣且可能会购买它」的成功标志，因此「B 方案比 A 方案更好」的结论也并不成立。
因此希望大家用以上表格来整理数据目标，就是为了避免从一开始搞错了目标，那么再精确的数据统计也只能得到误导性的结论。
2. 理解业务的数据价值
我们会发现一个有趣的现象，当我们在谈论一家公司或一个产品是否够成功时，基本是基于单一的数字，比如某APP有2亿日活，它很棒；某平台有3000万产量，它很厉害等等。
和那些盲目喊着要扩大用户数和规模的产品不一样，对解题产品来说，有人在真正花时间解答题目，才是一件意义重大的事情，因此相对单纯的生产数量数据，它更应该关注生产员或质检员的产出质量。假如解题产品的日均产量很高，但用户在任务界面上平均停留时长很短，那么我认为并不觉得这是一件值得高兴的事，因为生产和质检的结果可能会有很多问题。
3. 数据不是万能的
数据不是万能的。它就像问卷调查、用户访谈等任何用户体验研究方法一样有着其局限性。数据只能告诉你 What，却不能告诉你 Why。
Data can only make a good design great, but can never make a bad design good.
[1] 如何理解 DAU 和 MAU 这两个数据？- Aaron余乐的回答 - 知乎 https://www.zhihu.com/question/24007425/answer/130382392
[2] 数据分析｜计算用户留存率 - 狗哥的文章 - 知乎 https://zhuanlan.zhihu.com/p/123292172
[3]Google HEART模型：助力设计成果评估，提升用户体验 - 人人都是产品经理 http://www.woshipm.com/user-research/1726864.html