随着手游市场步入成熟期，竞争愈发激烈，数据分析成为大多数游戏公司的必备能力。然而，如何进行数据分析才能获得更深入的结果？如何科学地打造一款手游精品？
近日，数据驱动产品管理平台 GoPractice 首席执行官 Oleg Yakubenkov 根据自己长期工作经历撰写了一份近万字的数据分析心得。此前他曾参与《猫战》、《盗贼之王》、《割绳子 2》等大作的制作。以下是 Gamelook 整理的详细内容：
如何查看数据
在我看来，大多数手游团队并没有充分挖掘数据的潜力。他们更喜欢跟踪底线指标、衡量付费营销活动的效率、分析产品变化的影响、进行详细的 AB 测试。听起来这些就够了，但事实上并非如此。如果你的目标是登上畅销榜并长期保持稳定的位置，你还有很多事情要做。
数据可以通过多种方式提高您开发和运营成功的移动游戏的成功率。关键在于，不要将数据用作回顾过去表现的方法，而要将其用作帮助您做出决策、减少不确定性并尽早消除产品中重大风险的工具。
在本文中，我将主要通过几个案例来说明数据对于产品不同阶段决策的重要意义。不过，我们先讲一个小故事：
1. 研发前测试市场接受度
2014 年，我当时正在开发一款手机游戏，玩家可以在校园里互相战斗。每个玩家都有一队三名战士，并用他们来挑战对手的队伍。这款游戏最初打算采用实时多人游戏模式。
对于游戏的第一个版本，我们决定只做单人游戏，让玩家与 AI 战斗，主要是为了节省开发时间并尽早测试游戏。我们计划在未来的更新中添加多人游戏。然而，从构思到测试版本我们仍然花了四个月的时间。
在游戏的第一个版本发布后不久，我们分析了关键数据，并得出以下三点见解：
a.游戏的短期留存非常好（次留大于45%），但是到了第14天，留存率就明显下降了，这也是可以理解的，毕竟游戏的内容很少。
b.游戏变现效率看似不算太差，但还有很大的提升空间；
c. 但我们在用户获取上遇到了很大的问题，游戏的玩法和视觉风格完全是按照团队的感觉设计的，因此这款游戏在澳大利亚 Facebook 购买量的 CPI（每安装成本）达到了 15 美元，对于一款休闲中核游戏来说太高了，我们当时没有做任何创意优化来降低 CPI。
虽然我们在四个月的开发中积累了很多经验，但实际上我们并不需要等到游戏完成后才发现买量的问题（即游戏的市场接受度不够）。但当时我们对游戏的想法非常着迷，认为它会起作用。没有人质疑团队最初的想法。
现在，我们应该使用 Geeklab 平台或其他类似工具来测试市场对我们想要构建的游戏的兴趣。Geeklab 允许开发者制作一个虚拟的应用页面，以在不发布游戏的情况下测试购买量的成本。要进行此测试，您只需要一些横幅、图标、游戏描述和插图作为游戏的屏幕截图。
注：我个人会使用多种服务来测试游戏创意的市场接受度。Geeklab 目前是最准确和有效的。与他们沟通后，你可以使用以下链接获得一个月的免费试用：
如果我们知道获取流量的成本是 15 美元，我们还会投入全部精力来制作游戏吗？我怀疑。如果我们早点知道这一点，我们会找到正确的方法，尽最大努力降低 CPI。如果我们不能大幅降低，我们就会停止这个项目，而不是像以前那样浪费数十万美元的研发资金，更不用说失去的机会成本了。
在开始开发下一款游戏之前，我们通过制作许多艺术风格版本来测试市场对它的兴趣，最好的版本比第二好的版本表现好几倍。这次测试给项目带来了很大的优势，因为获取流量的成本与市场平均水平相比非常低，所以在创建游戏版本之前，我们就已经证明了市场对我们的游戏感兴趣。
第二款游戏叫《CATS》（由ZeptoLab发行，国内由乐豆游戏和多库游戏联合代理），这款游戏目前下载量已经突破1亿，并获得了多方面的认可，比如入围2017年度Google Play最佳游戏。
这只是数据如何帮助减少项目不确定性，让游戏团队更合理地分配资源，增加制作成功游戏的机会的一个例子。如果你仍然觉得难以信服，让我们看看更多案例。
2. 利用数据找到你的利基类别
几年前，我想进一步了解 ASO（应用商店优化）。当然，和许多事情一样，最好的学习方式就是边做边学，这也是我决定打造一款以有机增长为目标的游戏的最重要原因。
当时我面临着所有游戏制作人都面临的问题：如何选择游戏项目来做？这是一个非常重要的问题，因为如果你选择了错误的市场类别或者高估了自己拥有的资源，你很可能会失败。
我首先进行市场调查，了解哪些类别最依赖有机增长。然后我花了一周时间分析每个类别：谁是这个类别的领导者？他们如何实现有机增长？超越他们的潜在方法是什么？我还花了很多时间分析每个看似有前景的细分类别。
经过这样的分析，我决定制作一款卡车模拟游戏，而这个选择得到了以下数据的支持：
a. 这是一个具有高有机增长率的利基类别。最重要的是，这是一个不断增长的利基类别，顶级游戏每月下载量达数百万次（App Annie 和 Datamagic 分析）。
b. 虽然该品类中已经有头部游戏占据了较大的份额，但是月下载量超过10万次的产品仍然有很多，这意味着新游戏仍然有很多机会获得自然增长。
c. 大部分游戏研发成本低，靠广告变现，也就是说 LTV 低，买不起流量成本。这对我来说是个好消息，因为我也没钱买流量。
d. 这些游戏不通过付费广告获取用户，也不经常被应用商店推荐。它们完全通过搜索和偶尔的商店推荐投放。
e. 所有游戏的外观和感觉都差不多，玩法也很简单：玩家开着卡车在指定区域运送货物。无论是玩法还是操作都不适合移动设备。
考虑到所有这些信息，我开始思考如何制作一款能够超越绝大多数竞争对手的游戏。结果就是 Epic Split Truck Simulator，这是一款休闲街机游戏，其核心游戏元素灵感来自著名的沃尔沃卡车广告，其中尚格·云顿 (Jean-Claude van Damme) 将两辆行驶中的卡车分开。
这款游戏仅用了一个周末就开发完成，目前已获得超过 200 万次下载，其中 99% 都是有机下载。游戏增长的原因是它在应用商店转化率和短期留存率方面超越了其他竞争对手，这也是 Google Play 最终决定推荐这款游戏的重要原因。
这里最重要的教训是，深入分析你想要进入的市场对于未来的成功至关重要。它将为你的重要决策提供参考，并帮助你专注于做正确的事情。在进入全面研发之前，以下问题值得思考：
市场是停滞还是增长？在快速变化的市场中，这一点很容易判断。
这个类别的竞争有多激烈？这个细分市场是由一两款游戏主导的，还是有大量的中型游戏？市场领先位置是否经常变化，还是同一家公司长期主导市场？你不会寻找一个由一两款游戏主导的市场，其他人只能得到一点点。对于新产品来说，领先位置频繁变化的市场是最有前景的。
该子类别中的顶级产品是如何达到这一位置的？他们是否需要大量付费营销活动，还是通过有机增长实现这一目标？这些游戏是否经常被推荐，还是通过同一发行商的产品进行交叉推广？该类别中顶级游戏的 LTV、RPI 和留存率是多少？它们是一流游戏吗？艺术风格是什么？
你的游戏如何以及在哪些方面能够击败竞争对手？你正在制作的游戏的附加值是什么？当每个人都通过有机新增长实现增长时，你能找到通过付费广告实现增长的方法吗？你知道如何让你的 LTV 高于竞争对手吗？你的产品或营销改进是否可持续，或者这些东西是否可能很快被其他竞争产品模仿？
回答这些问题可以帮助你做出正确的决定。如果你想赢得更客观的市场份额，你必须做得更好或做一些不同的事情。
3. 观察成功的早期迹象或及早发现失败
我曾参与开发过多款轰动一时的游戏，例如《King of Thieves》（该游戏获得 Apple 编辑推荐奖，下载量超过 7500 万次）以及《Cat Wars》和《Cut the Rope 2》（这两款游戏均被 Google Play 评为 2016 年度最佳游戏，下载量超过 1 亿次）。此外，我还参与开发了许多未能成为轰动一时的游戏。
长期的经验让我能够识别出问题游戏的早期迹象。我发现这些早期迹象对于团队过度乐观的开发阶段非常有帮助，但需要注意的是，这些知识信号并不是决定性因素：
a. 你的游戏对测试人员来说太吸引人了
我发现在 Playtestcloud（）上测试游戏的早期版本非常有用。该平台的测试方法是让一名玩家（你可以选择不同的类别）直接进入你的游戏 30 分钟。测试员的屏幕、触点和麦克风都会被记录下来。这种测试可以为你提供非常有用的定性数据，让你从玩家的角度看待你的游戏。我喜欢这些测试的主要原因是测试环境往往在测试员的舒适区（通常在家里），而不是把测试员带到你的工作室或某个研究中心，这样他们的行为就会有些警觉。
我注意到 Playtestcloud 测试中有一个有趣的节奏：如果测试人员在一款游戏上花费的时间超过 30 分钟，那么这款游戏通常就很成功。他们非常沉迷于这些游戏的早期版本，不想停下来。另一方面，许多后来被取消的游戏的测试人员只花费了所需的 30 分钟或更少的时间。
b. 研发团队不喜欢玩自己的游戏
如果你的公司游戏早期版本有一个小型玩家社区，那当然很好，因为这能为你提供很多反馈和想法，尤其是当社区中的一些人不是开发团队成员时。相反，如果开发团队不愿意在业余时间玩他们正在制作的游戏，那么他们只是出于工作原因才这么做的，很可能是游戏出了问题，或者游戏本身不够吸引人。
这些并不是经过科学验证的信号，但游戏开发并不是一个科学研究的过程。你很可能会在开发过程中注意到其他信号，以帮助你解决开发新游戏时的不确定性。
如果你的游戏无法让测试人员花 30 分钟时间，或者初始版本在公司内部没有形成社区，我不建议直接放弃这款游戏。同样，如果其他信号表明项目行不通，但研发团队非常热情，我也不建议继续这个项目，因为这些信号很大程度上可以表明项目开发正在朝着错误的方向发展。
4.理解=分类+分析
这里我想给大家讲另外一个故事，《盗贼之王》这款手游，下载量超过7500万次。我们研发了16个月，上线第一个版本之后，数据表现很差，第二天留存率只有26%，七天留存率更是降到了9%。在变现方面，游戏表现也不好，玩家第一次付费是在4天之后，低转化率、低留存率让游戏数据看起来很糟糕。
根据性能数据，我们本应该放弃这款游戏，但我们决定投入更多时间来找出问题所在。我们知道这款游戏很有趣，公司内部有一个庞大的社区。当我们开发它时，很多同事已经在玩它了，更不用说在 Playtestcloud 测试期间，玩家通常会花 30 多分钟来玩它。
为了了解 KPI 数据不佳的原因，我们决定比较现有玩家和流失玩家的数据，并根据数据分析他们的游戏内活动。Amplitude 是一个很好的工具：
我们发现留下来的玩家很快就发现了 PVP 并花费了大部分时间与他人战斗。另一方面，流失的玩家从未攻击过其他人。基于这一发现，我们计算出 60% 的新用户从未尝试过多人游戏，而多人游戏是游戏中最主要、最令人兴奋的部分。
我们改变了新手引导体验，引导玩家参与PVP模式，这一调整的效果几乎是立竿见影的，次日留存率迅速提升至41%，七日留存率也达到了20%。
这里的主要教训是，你应该尝试了解让玩家留下来的关键因素是什么。实现这一点的最佳工具是手动分析留存用户和流失用户的游戏内行为。
深刻理解玩家参与游戏的确切原因，对于未来的游戏开发至关重要。一旦理解了游戏的核心要素，其他所有新加入的功能都应该是为了放大这个优势。另外，纵观前期，我们应该知道 PVP 是《盗贼之王》最重要的核心玩法。毕竟，这也是开发初期公司同事们非常喜欢的。
5. 尽早并尽可能密集地进行测试
我认为，很多团队在开发新游戏时都会犯的一个错误就是过于谨慎。他们不愿意冒险，也不愿意将游戏推向不同的方向。我主张在早期阶段大胆尝试，原因如下：
a. 每个游戏都像是一个有自己规则的新宇宙。你必须从头开始学习这些规则，我认为最好的方法就是不断尝试；
b. 早期还有一件很重要的事，就是你的用户量很小，所以可以大胆尝试，不用担心造成无法纠正的问题。换句话说，研发早期是犯错和改正的最佳时机。哪怕一次尝试被证明是一个很大的错误，它带来的损失也远不如你学到的东西重要。毕竟此时你的用户可能还不到几百人，一旦用户量扩大，那就完全是另一回事了。
c. 你必须测试那些对数据有重大影响的东西，这样它们才能带来有意义的数据结果，否则，你的尝试可能一无所获。在开发的早期阶段，你的玩家群体还不够大，无法从实验中获得有意义的数据。
然而，让我们回到《盗贼之王》，在改变了新手引导体验、解决了留存问题之后，我们在游戏变现方面仍然遇到了很大的问题，我们的ROI（投资回报率）并不乐观。这时我们开始尝试，希望找到影响游戏收入的因素，找到我们需要走的正确产品方向。
我们尝试的第一个办法是将游戏内的时间限制增加五倍，并提高一半用户的内购成本。我们的玩家对这种做法非常不满，导致游戏的应用商店评分下降到 2 星，但与此同时，LTV 却提升了 2.5 倍。如果我们有数百万玩家，我们敢做这样的调整吗？我想没有多少公司敢这么做。
在 Beta 测试期间，我们做了很多看似疯狂的实验，这帮助我们更好地了解产品。最终我们发现这些杠杆对游戏的收入产生了巨大的影响，到游戏全球上线时，LTV 相比初始版本提升了 40 多倍。
我相信新的努力不应该仅仅是为了增加新功能和衡量其影响，还应该帮助你的团队了解他们正在开发的游戏，看到它的潜力，学习如何影响和快速测试可能的方向。
6. 如何利用分析做出全球发布决策
此时，您的游戏已进入测试阶段，是时候提高关键数字了：您每隔几周就会发布新版本，运行 AB 测试，并衡量产品变化的影响。但您的游戏何时才能准备好在全球发布？
根据我的经验，我的同行们经常会根据直觉来决定是否在全球发行游戏。需要指出的是，这一决定没有统一的方法，发行商和开发商通常会根据对用户获取的假设来做出决定，但实际上还有很多因素需要考虑。
手游市场越来越接近经济学家所说的完全竞争市场（也可以称为自由市场），当然，除了以《炉石传说》和《漫威英雄联盟》为代表的卡牌游戏和格斗游戏等少数品类外。这个词的另一层含义是，如果你的产品在同类中不具备更高的优势手游开发，那么获得较大市场份额的机会就很小。总之，玩家可以选择的同质化游戏越来越多。
以下几个迹象表明您的游戏表现优于市场平均水平：
您的游戏留存率高于同类别的其他竞争对手。您可以从许多服务提供商处获取此基础数据，例如 Appsflyer。
您的 LTV 高于其他竞争对手。这些数据意味着您要么更好地留住了用户，要么找到了有效的盈利方式。借助 App Annie，您可以估算出许多竞争游戏的 LTV。
您的 CPI 至少在某些领域低于竞争对手。通常，当您发现市场中未满足的需求或拥有更有效的流量购买方式时，就会实现这一目标。
如果你的游戏满足了以上三个条件，那么很有可能你会发现投资回报率大于零。如果你的目标是增加有机用户来源，那么你可能已经赢得了竞争，因为应用商店是根据游戏创造的价值来排名的，所以这很简单。如果你超越了竞争对手，你最终会登上榜首。这样的游戏更有可能被推荐，也更有可能通过口碑获得用户。
最重要的永远是多比较。有时人们在谈论留存时，更多是在谈论滚动留存。另一个常见的误解是，计算留存的方法有很多种：有的采用日历天，有的采用24小时周期。例如，Amplitude 默认计算24小时，而Appsflyer 和其他分析系统则采用日历天。
这里举个案例来说明不同计算方式的留存率差别有多大。下图是不同计算方式的留存率，在有些节点，按天计算，第二天的留存率为52%，而按24小时制计算，第二天的留存率只有45%，两者的差别还是很明显的。
7. 在细节上超越竞争对手
这是关于 Epic Split Truck Simulator 的另一个故事。游戏发布后不久，它仍然能够获得有机新用户，但一个巨大的变化带来了用户增长的重要变化。
在某个阶段，我们决定更改游戏图标和截图，你可以看到新旧版本（左侧为新版本）图标对比。更改图标后，游戏下载量增加了几倍，从每天 5,000 次下载增加到每天 15,000 次下载。几周后，游戏下载量超过每天 30,000 次下载。
接下来我们来详细说一下图标的变化，以及对游戏成长的影响：
1月20日，团队决定在所有用户组中更改图标。
随后，下载量几乎增加了两倍，团队决定看看这种变化是否与新图标有关。
1 月 26 日，我们开始了一项实验：我们为 50% 的 Google Play 用户更换了新图标，另一半用户继续使用原来的图标。
1月27日，该团队停止了这项实验，因为它对游戏下载量产生了负面影响。
如图所示：
根据本次实验的结果，很明显图标将页面转化率提高了约 80%。然而，对游戏下载量的影响更大，达到了 200%。为了理解其中的原因，让我们讨论一下游戏增长模型以及新图标如何在不同层面产生影响。
大部分新增用户都来自于游戏在 Google Play 上的自然增长，主要流量来自于“你可能喜欢的游戏”板块，每个用户看到的推荐都不一样。新图标的点击率（CTR）更高，对用户获取渠道有影响，逐渐积累成显著的影响力：
得益于新图标的改变，Google Play游戏页面的点击率有所提升，因此更多用户开始访问该游戏的商店页面。
页面转化率也增加了。
与之对应，首页的下载转化率也不断提升。
上述因素使得Google Play能够更频繁地向新用户推送游戏。
所以，仅仅是更换图标这么小的改动就带来了三倍的下载量增长。在我们更换图标后不久，游戏在 Google Play 上的推荐位置就迅速转化为下载量。随后，游戏获得了更高的自然增长，并被推荐了更多次。
这个案例告诉我们，拥有比竞争对手更好的数据并影响游戏在应用商店的曝光度非常重要。然而，这里最重要的教训是，了解你的产品模型很重要，比如它的增长驱动因素和关键增长环节。这些知识可以帮助你专注于最有影响力的领域。
8. 监控并调查意外变化
这是另一个与《盗贼之王》相关的例子，其中有一项特殊技能，可让用户增加从其他玩家那里偷取的金币数量。例如，如果玩家获得 10% 的技能，那么偷取 1,000 金币将带来额外的 100 金币奖励，玩家可以从他们成功通过的地下城中领取这笔奖励。
有些玩家认为这不公平，并对此提出抱怨。额外的金币其实并不多，所以团队决定不再从防守方扣除更多金币，而是给予进攻方相同数量的金币，他们认为这可以避免社区的负面反馈。
我们原以为这一小小的经济变化将带来更高的留存率，并避免破坏支付系统。然而，这一调整的影响却是灾难性的。
有些玩家积累了大量金币，在这之前，他们攻击其他玩家，被别人抢走。一切都井然有序，当他们的金币减少时，其他玩家会得到更多，整体经济系统保持平衡。
新的设计破坏了游戏的经济平衡，被攻击的富有玩家依然富有，而攻击方的金币也越来越多，随后游戏中的金币以不可控的速度增加。
几天后，游戏内定价就变得毫无意义，因为用户拥有大量金币。随着玩家失去兴趣，游戏内留存率大幅下降，付费率也因消费动力越来越低而大幅下降。更让人无语的是，游戏收到的差评数量不仅没有减少，反而迅速增加。
要知道游戏是非常复杂的系统，有时产品中哪怕是某个部分的微小变化，也可能对其他部分产生不可预知的影响。为了快速了解原因，解决不可预知的产品变化，必须密切观察游戏关键部分的可视化数据。拥有一份详尽细致的数据仪表盘至关重要。
密切监控关键数据的理由还有很多。对于拥有数十万日活跃用户的在线游戏来说，每天都是不同的。你的游戏每天都会有新内容。今天，你的游戏在主流媒体上爆红，昨天应用商店的关键词被更改，前天，团队可能推出了内容更新。
数据图上的每个点都代表一次产品实验的结果，每个点都是您了解产品并进行改进的好机会。
我认为开发人员需要成为研究人员。不要只看仪表盘看看一切是否正常，而是要问，是什么导致了这种增长？有什么值得学习的吗？此时，你之前认为是侥幸的事情可能会让你学到一些关于你的产品和用户的新知识。
关注增长点，了解增长背后的本质。很多增长都有内在原因，比如在特定国家获得推荐。此时，可能还没有太多有趣的结论。但这并不意味着你可以停止研究。有些增长可能会让你学到以前没有意识到的东西。这些因素会影响你的产品数据。而且，这些都是你需要关注的，因为它们是你产品持续增长的驱动力。
9.细节改进及重大变更
在我看来，许多人在游戏发展到一定规模后都会犯的一个关键错误就是低估了改进产品不同层面细节的重要性。
Boom Beach 的 Warship 是重大游戏更新的最佳示例之一，它增加了与游戏互动的新方式。
在新游戏的早期阶段，团队往往会寻找能够大幅改善游戏统计数据的重大变化。但是，如果测试阶段成功，那么在全球发布时，您应该已经收集了足够多的关键见解手游开发，并进行了一些重大调整的实验。因此，在游戏成功后，是时候深入挖掘并通过小调整优化关键领域了。
假设你有五个团队分别负责游戏的不同领域，比如获取用户、入门、参与度、留存和变现。每个团队在一个季度内进行 10 次实验。在这五次实验中，有四次没有带来任何积极影响，而另一次则带来了 2-3% 的关键 KPI 提升。每次提升都非常微妙，甚至不会影响游戏的整体数据。
但是，如果你将这些小改进在几个季度内累加起来，你会看到游戏性能健康且可持续地增长。在这种情况下，每个季度有 10 次成功的实验，虽然所有的改进都很微妙，但它们加起来使游戏的关键指标提高了 30%。
专注于小更新并不意味着你不应该进行大改动，大改动可以为你的游戏带来新元素和新体验。这些较大的更新在产品规划中占有重要地位，我从不主张在小更新和大更新之间取得平衡。
如果我们回顾第一代 iPhone 和现在的 iPhone，从很多方面来看，iPhone 的巨大成功得益于该设备诸多系统的持续改进，比如摄像头、处理器和电池续航时间。这种成功通常不是因为巨大的质变，而可能是数以百计的细节的积累，让它年复一年地发生变化。
注重持续细节改进需要数据驱动的研发文化，而拥有实验基础设施可以让团队更轻松地进行实验。
另一个例子是 Uber 的实验平台描述，真正展现了数据驱动的 Uber。持续改进产品是 Uber 保持领先所必须做的事情。虽然竞争对手们志在必得，但我认为移动游戏领域的竞争远没有那么激烈，很多平庸的产品并没有用数据驱动的方法来迭代。
快速实验和持续改进
有很多方法可以提高手机游戏大片的成功率。
您的实验越早，您甚至可以在研发阶段开始尝试不同的想法。
