12 | 制定产品成功指标

12 | 制定产品成功指标

朗读人:丁婵    10′38′′ | 5.27M

约翰 · 道尔(John Doerr)是硅谷最牛的风险投资人,是谷歌、亚马逊、网景、升阳电脑等公司的早期投资人,更在 1999 年投资谷歌时,教给了创始人成功指标(OKR)的概念,帮助谷歌达到了今天的高度。2018 年 4 月,他出了一本叫作《以你在乎的作为衡量指标》(Measure What Matters)的书,专门讲成功指标这件事。

他在书中指出:指标是为了定义你想要完成的目标,需要表达清楚在什么期限之内、要达到什么具体的、可衡量的结果。 换句话来说,一个好的指标应该是像“2018 年底之前实现 100 万日活”这样的,而“让用户多花时间在 APP 上”、“争取用户规模达到 100 万”都因为缺少了关键信息不能算是一个好指标。

我们经常会说,作为一个产品经理,当你确定了正确的成功指标,你就成功了一半。

比如,你是电商,你的成功指标应该是下单用户数,而不是总的用户数量。因为,你可以让大家下载 APP 抽奖赢取福利,但是大家下载后并没有下单,那最后即使你成功积攒了千万用户这个公司也依旧无法做下去。因此,制定了错误的成功指标,进而导致了后续的产品策略失误,最终的结果就是产品的失败。

假设微信朋友圈的成功指标是,用户在微信朋友圈花的时间。为了达成这个目标,微信向你推送了更多花时间的内容(例如,文章、视频),却减少了你所关注的朋友发的文字状态或者图片内容。这样看似增加了你在微信朋友圈花的时间,但是却忽略了你使用朋友圈的目的是和朋友互动。

那么,当你的需求得不到满足时,你就会减少在微信朋友圈花费的时间,甚至放弃微信朋友圈,所以单纯采用用户花费的时间多少作为成功指标最终起到了反作用。这也恰恰说明了产品的成功指标要和实现的用户需求相契合。

其实,有的时候产品所要满足的用户需求并没有改变,只是产品阶段不同指标也会不一样,那么你应该怎么判断制定的指标是否正确,又怎么用指标作出产品决定呢?

接下来,我用这个微信朋友圈添加新功能的例子来跟你解释这个问题。

案例: 如果你是微信朋友圈的产品经理,现在你要在朋友圈加一个可以用表情包评论的功能,你需要通过制定这个功能的成功指标、进行 A/B 测试,来确定这个功能到底值不值得发布?

首先,明确产品的成功指标是什么。

第一步,弄清楚整个产品的最高目标。

如果我是微信朋友圈的产品经理,我会从微信的核心指标开始,毕竟朋友圈是微信的一个功能。假设微信的核心指标就是用户的活跃程度,包括用户评论、分享、发消息、发图片等用户行为。

这实际上是一个非常复杂的指标,需要考虑每项用户行为的权重,比如评论相当于几分、分享相当于几分。假设,我们已经通过用户数据、调研等方式确定了这个衡量指标是: 用户的总活跃分 = 评论×1 + 分享×0.5 + 发消息× 1。

朋友圈的设计初衷也是希望用户通过这个平台分享自己的生活、增加朋友间的互动,以此来增加用户的活跃程度,从而提升整个微信的总活跃分。

第二步,思考你的产品功能还有哪些指标需要注意。

我们已经明确了朋友圈的核心目的是为了提升微信用户的活跃度,增加微信的总活跃分。另外,微信朋友圈正计划增加在用户发的状态间穿插广告的功能,即每隔几个状态就穿插一条广告,所以我们希望用户可以多刷几条朋友状态,以提高穿插广告的曝光量,所以用户浏览朋友状态的数量也是一个指标。

第三步,思考新功能可以解决的问题和上面列出的几个指标有什么关系。

比如,在朋友圈加了一个可以用表情包评论的功能,以降低朋友间互动的门槛,帮助用户更方便地发表评论。

通过表情包评论的功能,发表评论的用户可以通过一个有意思的表情,表达用文字无法传达的情感,这对他们来说意义非凡。

而对于发表状态的用户来说,以前一条状态可能只有两条文字评论,但现在因为表情包降低了回复门槛,评论数增加到 10 条甚至更多了。这样,发表状态的用户会感觉到朋友们都很关注他,这也会激发他再次发状态的激情,最后的结果就是增加了微信的总活跃分。

第四,思考反指标是什么。

反指标(counter metrics)是指你的产品带来的负面影响。 假设微信还会对朋友圈的内容质量打分,那么这个使用表情包评论功能的反指标就是降低了朋友圈内容质量分数。

因为以前大家使用纯文字交流时,都比较“走心”,交流的内容也很有深度,而现在几个简简单单的暴走漫画、卖萌表情就可以代替语言, 反而让交流流于表面,丧失了原本的厚重感,所以就会降低整个朋友圈的内容质量分数。

通过对成功指标的分析, 我们明确了这个新功能的成功指标和反指标:

  • 成功指标是:提升微信的总活跃分和用户每天浏览朋友状态的数量;
  • 反指标是:降低了朋友圈内容质量分。

然后,进行 A/B 测试验证新功能对产品的影响。

我们设置了实验组和对照组,实验组增加了这个功能,而对照组没有,其他条件一样,然后观察两组成功指标和反指标的变化情况。

如果实验组的成功指标增加显著,而且反指标被控制住了,说明这个功能起到了我们想要的效果。

一般情况下, 我们会设定一个指标提升的具体目标,比如 5%,这个量化标准是非常重要的。如果新增加的功能对成功指标的提升低于这个目标,那这个新功能是不能算作成功的,是没有必要添加的。

比如,我们花了两个月的时间只提升了 0.1%,那么就应该认真考虑有没有必要继续花 1 个月优化这个功能。这时,我们通过数据分析和估算发现,继续优化这个功能并不能达到提升 5% 的目标,那后续的优化就根本不值得了,需要当机立断砍掉这个功能。

这里需要注意两个问题:

  1. 如果你的产品有多个指标想要提升,你需要将这些指标按照重要性进行排序,方便出现问题时权衡取舍。
    以微信朋友圈添加表情包评论功能为例,通过分析已经明确了成功指标和反指标,如果你的测试结果发现,成功指标中的微信总活跃分下降了、用户每天浏览朋友圈状态的数量增加了,那你应该怎么权衡取舍呢?
    一般情况下,我们会确保新添加的功能不会影响整个产品的总指标,选择放弃这个新功能。但是,这个案例并没有这么简单,因为我们的假设是:广告穿插在朋友圈的状态之间,用户浏览朋友状态的数量增加了,也就意味着用户浏览的广告数量增加了,那无疑将会带来更多的广告收入。所以,这在这个案例里面,产品经理需要权衡是整个产品的成功指标重要,还是通过广告获取更多的利润更重要。
    往往这样的决定已经超出了产品经理所能处理的范围,需要公司最高级别的领导来决策了。公司高层可能会说,我们现在的收入一直上不去、股票大跌,我们必须赶快扭亏为盈,那广告带来的收入就更重要了;公司高层还可能会说,我们要以用户为第一原则,不能为了短期利益损害用户的信任,那整个产品的总指标就更重要了。当然,如果你是创业公司 CEO,这样的决定就需要你自己做了。

  2. A/B 测试的时间需要根据具体的产品情况而定,过短的测试时间得到的指标不具有稳定性,需要等数据稳定后再做决定。
    比如表情包评论的功能, 可能大家一开始因为新鲜使用频率比较高,各项指标都非常好看; 但是过几天用户发现朋友圈的评论全都是各种表情包,并没有实质内容和有价值的讨论,所以逐渐丧失了兴趣,导致指标大跌。那就需要延长 A/B 测试的时间,等指标稳定后再做决定。

总结

今天这篇文章我以微信朋友圈添加使用表情包评论的功能,跟你分享了制定产品成功指标大致可以分为 4 步:

  1. 明确整个产品的最高目标;
  2. 思考这个新功能的小指标有哪些;
  3. 明确这个功能是如何提升整个产品的总指标和小指标的;
  4. 明确反指标是什么。

确定了产品的成功指标后,需要进行 A/B 测试,这里还有两个问题需要注意:

  1. 在指标之间进行权衡取舍;
  2. 要注意 A/B 测试的时间,需要等数据稳定后再做决定。

思考题

如果你是抖音的产品经理,现在想加一个加强版的美颜功能,你应该如何制定产品的成功指标?欢迎你给我留言。

版权归极客邦科技所有,未经许可不得转载

精选留言

  • 希望作者可以讲一下 to b 的产品,面临客户定制化严重的情况,应该如何去做需求分析,如何说服自己的领导,客户,有没有方法论可以参考,多谢🙏🏻
    2018-05-17
    作者回复

    to b 要考虑客户的重要程度,重点是哪些功能要是没有 客户打死也不干 就会丧失这个客户 损失了多少钱。所以同样的方式也适用。但是具体权衡取舍的准绳却改变了

    2018-05-22

  • 徐东鹏~种下一朵太阳花
    我一直反对公司使用kpi对产品经理考核, 对于创新型岗位我推崇使用okr。在某个阶段解决某种问题,并拆分出需要达到的量化指标,这比死板的kpi考核更灵活,切挑战性很强。
    对于非强运营的产品, 产品的好与坏确实受产品自身定位及功能的合理性影响很大。某项功能的量化指标,根据历史数据很容易制定的。如注册登录转化率、下单支付转化等。

    东方哲学讲究阴阳调和, 看到“反指标”眼前一亮,之前确有考虑过某个功能可能的负面影响,但未曾量化分析过,产品也需要平衡。

    我不玩抖音,参考Instagram滤镜产生的影响,加强版的滤镜会在滤镜使用率、发布视频数量上有所提升。产生的负面影响是大量加滤镜视频发布降低内容质量(强调展示美,内容无趣)。 具体指标量化需要有数据支持,暂时无法给出。
    2018-05-22
    作者回复

    嗯 我们平时有很多指标和反指标 所以真正能发布产品可不是一件容易事儿哈哈

    2018-05-22

  •  宝小萱
    1.抖音的最高目标(用户活跃、停留时间、留存)
    用户的总活跃度=观看者*1+UGC*1+评论*0.5
    2.新功能的小指标
    增加UGC生产数量
    3.加强版美颜功一方面刺激生产用户的活跃度,另一方面也增加了美感,提高了观看者浏览数量
    增加UGC数量带动观看者数量,从而增加评论者数量
    4.反指标
    过分不真实、趋于同质化导致观看用户反感
    2018-08-07
  • 东霸tua
    反指标不是很理解,例如例子内容质量是怎么评判的
    2018-05-17
    作者回复

    质量分。比如你可以看用户举报内容比例。如果5%的内容被举报,质量就很不好。

    2018-05-20

  • 豆大豆豆
    两周内自拍视频总量提升15%
    两周内女性用户自拍视频发布总量提升10%
    两周内女性用户自拍视频观看量与发布量比上升20%
    两周内女性用户取消发送视频与发送视频比例下降30%
    2018-05-17
  • 格拉瓦
    我认为加强版美颜功能只是针对人,其实现在很多短视频的美颜功能都太强大了,抖音通过算法做个性化推荐,现在内容不管用户基数还是内容分类,都比较沉淀。这个功能也符合产品的最高目标。
    2018-09-21
  • Christine Lee
    这一章结合例子,感觉收货很多
    2018-09-20
  • SuperSnow
    对于新增的功能,进行ab测试后,发现新的功能不符合市场要求,一般就是要求开发团队直接将新增功能删除么?还是有其它处理方式?
    2018-09-19
  • Kasn
    老师,文中的5%和0.1%这两个数据是怎么得来的?
    2018-08-08
  • 林培立
    smart目标,具体的,可达成的,可衡量的,有时间限制,有挑战性的
    2018-08-01
  •  宝小萱
    1.抖音的最高目标(用户活跃、停留时间、留存)
    用户的总活跃度=观看者*1+UGC*1+评论*0.5
    2.新功能的小指标
    增加UGC生产数量
    3.加强版美颜功一方面刺激生产用户的活跃度,另一方面也增加了美感,提高了观看者浏览数量
    增加UGC数量带动观看者数量,从而增加评论者数量
    4.反指标
    过分不真实、趋于同质化导致观看用户反感
    2018-07-27
  • Manman
    1.抖音加强美颜最高目标是为了 留住用户 增加视频流量 提升 用户在平台上的活跃度
    2.小指标增加点赞率 鼓励拍摄者继续拍摄
    颜值高了 吸引观看者拍摄视频
    3.爱美之心人皆有之 对于拍摄者 和观看者都适用 自己颜值提升增强了拍摄欲望 对于观看者而言 看见美好的事物 点赞 并且自己也想试试 拍摄者的到了反馈 又继续拍摄 就留住了用户 且增加活跃度
    4.反指标 会造成千篇一律 久而久之就没有新鲜感 会造成点赞率有所下滑 评论减少质量下降.
    2018-07-26
  • Alex
    正向指标 会增加抖音的趣味性,许多女生用户会更加喜欢
    反向指标 会减少抖音的真实性,抖音的定位还是记录生活,所以真实性很重要。
    2018-07-25
  • 肖志鹏
    指标提升5%,是怎么得出来的
    2018-06-28
  • 行蘅
    没有用过抖音,以微博为例,如果新加一功能,成功指标有:用户活跃度,被关注数量、转发数量,反指标是内容的粗质化,有些内容可能简单无趣等。
    2018-06-12
  • Leo
    老师,有个问题想请教一下,关于给指标提升一个量化标准,请问是通过哪些方法去制定这个系数的呢?在文中的5%是如何得到的呢?
    同样的,对于反向指标,是不是也用类似的方法去制定量化标准呢?
    谢谢,期望能收到您的回复。
    2018-05-29
    作者回复

    这个根据你需要的样本数。我们基数很大 所以一般做5%

    2018-06-06

  • DSY💎
    以下是我的思考,请老师指正。抖音做加强版美颜功能,为的是让用户更好的展示自己,从而拍更多的视频,提供更多内容,提升用户活跃、停留时长、留存。 (1)最高目标:提升视频拍摄数量 (2)其他注意指标:用户活跃、用户停留时长、用户留存,视频拍摄量和用户活跃、停留时长、留存的关系。
    (3)反目标:内容过于同质化,缺少真实性及特点。
    2018-05-25
    作者回复

    写得很有道理!

    2018-06-01

  • yuxin
    作为设计师经常收到一些明显会引起负面作用的需求,除了有损品牌形象,用户体验不好这样的理由之外无法反驳,今天学到了新名词:反指标。thx~
    2018-05-19
    作者回复

    哈哈 很开心帮到你

    2018-05-20