数字化产品的体验度量

一用户体验很难完全量化衡量 数字化产品的用户体验涉及到易用性（Usability） 、用户动机（Motivations）、态度（Attitudes）、用户期待（Expectations）、行为模式（Behavioral patterns）、限制（Constraints）等。 换另一个维度看，它涉及到人机交互类型、人对体验的感受以及他们期待采取的行动等。总体说来，用户体验是一个复杂的系统，很难用单一或若干量化指标来完全度量。例如，很难非常准确的评估用户对某数字产品的喜爱度和排斥度，随着时间的流逝，用户到底怎样想使用此产品..... 在探讨体验度量的话题前，我们需要明确用户体验和度量（Metrics)不是对等的关系。不能把用户体验简化为可以度量的若干指标，更不能以某几个指标的提升代表整体用户体验的提升。 既然体验无法完全简化为可度量的指标，那么为什么需要度量指标呢？ 二用户体验度量的价值与意义 为企业提供用户体验工作的KPI 传统的用户体验工作是主观感受导向的，随着用户体验工作成为更多企业产品化链条中的一个重要环节，这种非量化评估模式就难以满足企业管理的要求了。另一方面，若企业只是聚焦于商业价值，这个无法转换为好的用户体验。而用户体验的度量指标可以帮助企业补充商业度量指标，帮助企业更好的追踪用户使用层面的数据（如用户使用在线产品的沉浸度等）。 通过好的量化指标可以帮助团队更清楚的知道可达成的用户体验的目标。同时它也是设计者在创造了好体验的产品时，可以用客观数据来证明价值的重要手段。 发现问题，为设计提供参考依据 在数字化产品时代，可以获取大量的用户在线的使用数据，这使得用户体验在线量化评估变得越来越普及。如Google/facebook等，广泛采用A/B测试来比较不同页面或页面特定功能的优劣，这驱动了基于在线用户数据来评测产品设计的方式，也就是我们说的“数据驱动的设计”。科学的说，依然是设计师驱动设计，而不是数据驱动设计。但数据评估的结果无疑为体验设计的改进提供了重要和客观的参考维度。 三 鉴定用户体验度量的一般方法 Gogle用户体验团队的The Goals-Signals-Metrics process是鉴定UX度量指标较有效的一般方法。此方法强调了要基于不同产品/功能的具体定位和清晰的目标，来定义有针对性的体验度量指标，而不是泛泛的定义一些通用的度量指标（如很多互联网公司都强调网站流量的重要性，这种泛泛的指标对用户体验提升没有多大帮助）。 第一步， 为了更好鉴定产品的核心体验指标，首先应明确产品或特定功能的目标，即你的产品要帮助用户解决什么问题。基于清晰的产品目标，能更好的选择那些帮助你评估是否达到目标的度量尺度。以Youtube为例， 这家视频网站的一个重要的体验目标是“沉浸度”，即想让用户喜爱他们所看的视频，并乐意去发现更多的频道和视频来看。 很多时候，产品的不同功能会有不同的细分目标。例如对于Youtube的搜索功能来说，其核心目标是帮助用户快速容易的找到所需的视频。如果评测一个具体的功能，我们就需要明确此功能细分的目标。 第二步， 将确定的目标匹配到第一个层级的signal上。例如，围绕Youtube沉浸度的信号可能是用户化了多少时间在其上看视频。 基于一个特定的目标，往往有很多潜在的信号，这时需要做些研究或者分析来确定最佳的信号。选择最佳信号可以考虑几个因素：1） 这个粒度的信号是否确实可以帮助到设计者做对应层面的设计决策？2）这个信号是否容易追踪。产品中是否已有工具在记录相关的行为？是否能定期部署产品调研。3）选择那些变化相对敏感的信号。 第三步，一旦选择了信号，可以进一步提炼把它们转化为可以持续去追踪及在A/B测试中可量化的具体度量（metrics）。 例如，在评估用户使用Youtube沉浸度的例子中，我们可以将“用户用多长时间来看视频”按照“每天每个用户看视频所花费的分钟数”这种更具体的度量来评估。 同样，基于特定的信号，也有潜在的不同的度量标准。你需要对已收集的一些数据做些分析来看看哪个是合适的。你需要确定是使用平均值还是百分比，从而使你的度量更有意义(meaningful) 。 围绕产品目标确定体验度量，可以防止为了量化而量化的陷阱。最终，这些评测数据的结果需要确实帮助到产品团队和设计师做决策。同时，关注和目标最相关的度量将避免很多不必要的实施投入和复杂数据的干扰。 四 几种用户体验度量评估的框架 A. 一般体验度量的框架 如果你的企业还没有任何体验度量的框架，可以先来参照这个一般框架开展工作。 Usability Engagement Conversion Timeon task Attentionminutes Micro-conversioncount Tasksuccess Happinessrating Brandattribute Perceivedsuccess Flowstate Conversionrate Confusionmoment Totaltime reading Likelihoodto recommend, or NPS Cuerecognition Firstimpression Trust rating Menu/navigationuse Categoriesexplored Likelihoodto take action 可用性尺度（Usability metrcis） 最早的体验评估尺度类型之一。 这个类型的尺度用来评估用户是否容易的完成相关任务。具体尺度可以是完成任务的时间、任务完成成功率，也可以是更细小粒度的尺度，如图标的识别成功率、搜索成功率等。它同样也包括用户的各种交互模式或事件流，反映了用户使用时的困惑、障碍等等。 沉浸度（Engagement） 众多互联网产品非常重要的另一个评估尺度类型。不同于可用性尺度，它有一定的含糊性，往往需要根据多个具体的度量指标综合分析。例如，用户花在网站上的时间并不能完全来衡量沉浸度。 转化率（Conversion）是在线产品最为关注的评估类型，如电商类企业必然关注多少用户最终买单，成交量怎样等。 关键是不能一味关注转化率的提高，而应该通过在线产品关键路径转化率的分析，来帮助确定整个流程的设计是否合理，各个使用步骤的优劣，是否存在优化的空间等。明确用户使用产品的真正目的，同时为他们提供人性化和合理的操作路径，才是用户体验团队关注此评估维度的目的。 B.Google -The HEART framework HEART 框架是Google用户体验团队定义的以用户为中心的量化评估框架。 传统的数据挖掘维度 以marketing和技术衡量为导向 以用户体验为中心的量化维度 页面浏览量 Page views 愉 悦 Happiness 系统正常运行时间 Uptime 沉 浸 Engagement 系统响应 Latency 接 纳 Adoption 周访问量 Seven-day active users 黏 着 Retention 收入 Earnings.. 任务成功 Tasksuccess. 愉悦（Happiness） 评测用户对产品的态度。一般是通过调研方式来获取反馈，例如满意度、对易用性的感受、NPS（Net Promoter score） 等. 沉浸度（Engagement） 用户参与程度。典型的评测是通过用户行为来评估，如使用的频率、强度或在一个特定阶段的交互深度等。 采纳度（Adoption） 一个产品或功能吸纳的新用户。例如，在特定一个时间段产品新用户账号创建的数量，Gmail用户使用标签属性的百分比等。 保留率（Retention） 已有用户返回的比例。例如，一个指定时间段的活跃用户 之后的一个阶段活跃使用的比例。对设计者来说，更有必要去关注为什么某些用户没有保留下来。 任务成功率（Task success） 这个包括一些传统的体验评估的行为尺度，例如效率（完成任务的时间）、效能（任务成功率的百分比）或错误率。对于那些任务导向的产品，这个度量类别非常适用。 在Google，这5类度量类别应用在不同层面，可以是整体产品级别或者是某个特定产品功能级别。针对不同产品或功能，并不需要采纳所有的度量类别，度量类别的选择有赖于产品目标的确定。例如，对于一个企业级的产品，沉浸度未必是一个核心的度量类别，而用户满意度和任务成功率则是更重要的度量类别。 C. Facebook 的框架（Data informed ,not data-driven） Facebook用户体验团队综合考虑多个因素来做用户体验和设计解决，并不一味信任数据驱动的体验评估。他们认为很多设计是突破性创新的结果，数据驱动并不直接带来设计创新。其中一个例子是Facebook的新闻提要。最初提出这个概念时，遭到用户和媒体激烈反对。但Facebook坚持这个新功能，不断调整，并不断向用户解释新变化。此功能最终成为保持用户沉浸度的重要驱动力。但若根据早期数据评测结果，那这个功能早就被取消了。 另一方面，过分数据驱动的设计，很有可能导致忽视整体的微优化。微观优化指的是不同团队都努力优化以改进产品，有时小团队之间的优化兴趣是彼此冲突或分散的，这样的局部优化反而影响了产品整体的大目标。 五 最新/未来发展的体验度量的方向 探索用户体验度量的目的不是为了量化而量化，而是服务于用户体验更有目标的提升。如何找到更有意义的度量指标是当下和未来更为关注的点。 多维度、多个度量指标的综合衡量是发展方向 例如评价一个电商网站的体验可以结合NPS/用户产品评价/社会媒体评论等多种途径。评价一企业级在线产品可以结合多个可用性评测的具体尺度结合用户满意度等。 基于场景、事件流驱动的量化评估 此方向的思路是追踪用户在整体体验流中的状态或行为模式，从而发现使用问题。例如，一个新用户在初次使用在线产品时其交互行为可能是在页面上快速的上下滚动。一个用户在操作中遇到困惑时，可能是快速尝试不同的操作步骤，最后放弃。基于事件流分析特定的行为模式有助于发现和分析问题。 Medium基于事件流，看页面中滚动的位置和鼠标的移动来追踪用户整体的阅读时间。为了评测用户的沉浸度，结合事件流来捕捉用户专注时间等。个人认为这个评测方向在小粒度的尺度上对发现具体的问题更有帮助。 结合行为和感知的度量评估 好的用户体验度量信号通常是结合了交互（Interaction）和感知（Perceptions）。交互是人们实际做的，如点击、滚动等。感知是人们对体验的感受。如果可以同时追踪二者，追踪的数据更有意义。 六 总结 定义用户体验度量最终是需要围绕产品目标和服务于设计决策/提升产品体验而来。 总结几点有用的战术如下： 1. Assess for product-market fit, look at retention 评价一个产品的市场适应度，要看用户保留率（而不是看用户流量） 2.To optimize for growth, uderstand the funnel model 为了优化产品使其快速发展，需要充分理解用户使用的漏斗模型 3. Figure out which metrics are truly important, and focus on those. 鉴定出那些真正重要的指标，并集中于这些最重要的指标开展工作 4. Don’t just accept a metrics goal without understanding it 在接受一个度量目标前，先充分理解它 5. View data skeptically by suggesting counter metrics 通过建议一些反向的指标批判性的看待数据。 例如,不要只看用户流量而忽视保留率;不要只看高点击率而忽视了反弹数量;不要只看销售量而忽视了返回率和订单取消率。 6. Understanding results in context 使用定性数据及基于场景来理解数据结果背后的原因。定量的数据描述人们是怎么做的，而定性研究帮助我们洞察用户的感受和数据背后的原因。为了更好的设计，最终我们需要去理解用户行为背后的原因。 七 参考文章 1.Measuring the User Experience on a Large Scale: User-Centered Metrics for Web pplications 2.CHI 2008： User Experience at Google – Focus onthe user and all else will follow. 3.“How to choose the right UX metrics for yourproduct” ,Kerry RoddenB，User Experience Researcher at YouTube and Google，Dec 3,15 4.Metrics Versus Experience (from Medium),Julie Zhuo,Product design VP @ Facebook 5.The Analytics That Matter To Facebook,Adam Mosseri, product designer at Facebook, at UX Week 2010 更多相关文章推荐： 跟大师学体验框架设计： http://k.21cn.com/share/2016/1119/07/135f6be72d38824374900526.shtml 从逻辑结构和工作流程看问卷调查： http://k.21cn.com/share/2016/1122/09/f9699caa0b1cdb4c98f6d7d9.shtml 是时候统一下 Emoji 表情了，毕竟这是一门世界语言： http://k.21cn.com/share/2016/1128/07/de05fde867fd9a0aba50cecc.shtml 想了解更多相关信息请关注：