隨著遊戲出海以及私域流量運營的挑戰，遊戲企業對資料分析的使用需求和依賴度進一步提高。在遊戲研發立項、驗證、開發、測試、上線和運營等階段 A/B 測試均能發揮重要作用。本篇將詳細解讀火山引擎 A/B 測試如何助力客戶遊戲業務增長 。
中國遊戲行業發展現狀及挑戰
國內市場增長乏力
2021 年遊戲銷售收入 2965。13 億元，同比增長 6。4%，增速相較於 2020 年減少近 15%。遊戲使用者規模達 6。66 億人，同比增長僅為 0。22%。2021 年遊戲銷售收入增長乏力，遊戲人口紅利趨於飽和，國內遊戲市場整體正在從增量市場向存量市場轉變。受未成年人保護法和國內遊戲版號發行限制的影響，未來一段時間國內發展還會受限。
自研遊戲出海勢頭強勁
2021 年，中國自主研發遊戲海外市場實際銷售收入達 180。13 億美元（近 1200 億人民幣），比 2020 年增加了 25。63 億美元，同比增長 16。59%。從近五年的平均增長幅度看，我國遊戲出海份額呈現穩定上升的態勢。中國自主研發移動遊戲海外重點地區收入分佈中，來自美國、日本、韓國收入佔 32。58%，18。54%和 7。19%，共貢獻了 58。31%的收入。
私域流量擾動行業格局
近年來，隨著自媒體平臺的快速發展，私域流量的積累為遊戲的發行提供了新的投放基礎。在精準營銷技術的輔助下，自媒體平臺的遊戲投放取得了令人矚目的效果。以青瓷遊戲的《最強蝸牛》為例，《最強蝸牛》上線在抖音和西瓜影片兩個平臺，透過懸念預熱、超級挑戰賽、全民任務等新的互動方式，精準觸達了目標使用者，遊戲上線後 10 天 iOS 流水超 1。04 億，連續一個月居 iOS 遊戲暢銷榜前十名。
隨著國內遊戲使用者數量趨於飽和，中國遊戲產業也從高速成長期逐漸轉型，市場成熟度提升，競爭趨於精細化。遊戲企業買量成本高企，使用者留存難，對精細化運營的要求也越來越高。疊加遊戲出海以及私域流量運營的挑戰，遊戲企業對資料分析的使用需求和依賴度進一步提高。
快速試錯，A/B 測試助力打造爆款遊戲
遊戲行業發展至今，先後經歷了主機遊戲時代、網頁遊戲時代、移動遊戲時代等多個階段，如今移動遊戲收入佔國內遊戲收入的 7 成以上，許多傳統遊戲公司正面臨著轉型壓力。隨著遊戲技術的日趨成熟，大批新興公司湧入該行業，進一步加劇了競爭壓力。
遊戲研發流程大致分為立項、驗證、開發、測試、上線準備和運營六個階段，每個階段往往都伴隨著許多修改。修改的效果如何？對於核心指標是否會有負面的影響？傳統的思路，是將新特性上線後驗證效果，但這也往往存在上線週期長，過分依賴經驗，影響面廣等問題。
A/B 實驗透過在線上流量中取出一小部分，完全隨機地分給原策略 A（對照組）和新策略 B（實驗組），再結合一定的統計方法 ，得到對於兩種策略相對效果的準確估計。透過 A/B 實驗可以對遊戲新特性/修改進行科學的評估，利用線上小流量即可驗證效果，並能夠有效地衡量收益。
A/B 實驗，科學評估修改效果
當我們進行實驗之前，實驗者需要事先約定一個對顯著性水平的預期，即限定“原假設正確但是被拒絕了”的機率上限為 α，通常接受的犯此類錯誤的機率範圍是 0%～ 5%。在實驗的統計計算中，我們用 p-value 來表徵某個實驗情景下犯這種錯誤的實際機率。只要 p-value 小於我們事先設定的 α，實驗即在顯著性水平上達標。
計算顯著性水平是用來對抗抽樣誤差的方法，當我們實驗在顯著性水平上達標後，我們認為有 95%以上的把握說明實驗結果是可信的。這大大降低了，遊戲修改上線對指標負面影響的可能。
《全民彈彈彈》是一款操作簡單、極易上手的球跳塔類休閒遊戲，玩家既可以讓彈球一層一層地擊穿彩色磚塊，享受純粹的彈射快感，也可以解鎖更多未知的球球，體驗合成的養成樂趣。
遊戲運營為驗證遊戲首頁對玩家留存和廣告資料的影響，對兩個首頁方案進行對比：跳塔頁（對照組）、合成頁面（實驗組）
經過 2 周的實驗測試，結果顯示，首頁為合成頁面在 3 日、7 日留存以及廣告的效果等核心指標都優於對照組跳塔頁方案。最終選擇全量合成頁面的方案，上線並取得了優異的效果。
除上述場景外，A/B 實驗還常常被用在以下修改的驗證中：
新手引導改動，新手任務難度調整，初始資源調整等
關卡難度、裝備爆率、寶箱中獎率調整等影響遊戲體驗的的改動
商城介面，積分系統，公告欄、banner、按鈕、圖示等功能性區域的改動
匹配系統、好友系統、聊天系統等社交性功能改動
遊戲 IP、NPC、遊戲場景、劇情的改動
實驗分層，拓展線上流量
小 A 要驗證新的武器系統，需要 50%的流量驗證；小 B 修改商城介面，也需要 50%的流量；小 C 對新手任務進行了完善，同樣需要 50%的流量驗證。此時同時進行 3 個實驗，需要 150%的流量。線上流量不夠用，只能對實驗進行優先順序排序，讓幾個實驗先後進行，但這會導致效率低下。
透過 A/B 實驗的流量分層技術，將總體流量複製“無數遍”，形成”無數個”流量層。流量層兩兩之間相互正交，再加之執行在相同層的實驗流量互斥，從而保證同時執行多個實驗不會互相干擾。
實驗分層技術可以有效的解決線上流量不足的情況，尤其是在遊戲內測階段，這個階段往往獲取使用者難度較大。需要透過釋出內測任務，小規模買量等方式獲得遊戲玩家，流量獲取成本高。而這個階段既需要驗證遊戲的效能、相容性，又要對遊戲的玩法、關卡設定、故事劇情、營收模型等進行調整。如果內測時間過長，不僅需要持續的買量投入，也會導致遊戲上線節奏被拖慢，甚至可能錯過市場熱點。
透過 A/B 實驗流量分層技術，打破流量限制，大大縮短遊戲驗證時間，快速上線迭代。
場景能力，讓推廣更高效
除了傳統的客戶端、服務端實驗以外，我們還提供了針對特殊場景的 A/B 實驗能力，讓實驗開啟更便捷，效果更顯著。
視覺化實驗：
透過所見即所得的線上編輯，降低在 Web/H5 頁面最佳化的場景下，產品方和運營方使用 A/B 實驗工具的成本。可用於遊戲活動的推廣頁面，抽獎頁面的效果對比，無需程式設計即可快速上線。
推送實驗：
透過對推送通知的標題、內容、點選動作等進行測試，找出效果最優的方案。支援多種推送通道、裝置型別；可應用於遊戲的拉新、召回以及活動推廣等場景，及時響應效果，避免負面影響。
廣告實驗：
提升廣告投放 ROI，最佳化廣告投放策略，可對比不同的實驗文案、不同的投放渠道的廣告投放效果。透過轉化增效度量的方式來控制“自然轉化”對實驗效果的影響，保證廣告實驗的科學性和嚴謹性。
遊戲出海，A/B 保駕護航
如今全球化運營已經成為新的趨勢，海外遊戲營收相較於國內有著更高的增長性。國內自研遊戲紛紛出海，快速搶佔重點地區份額。與此同時也帶來了差異化運營、全球化釋出、資訊保安等全新的挑戰。
地區差異化運營
由於各國文化、宗教信仰、潮流趨勢的差異，相同的遊戲活動和修改，在海外不同的地區往往取得的收益各不相同。對於公司來說，海外不同地區的差異化運營，往往需要積累各地的運營經驗，成本通常較高。盲目的推行，又容易導致一些負面的影響。
A/B 實驗支援圈選不同地區的遊戲使用者，可以針對不同地區的使用者開展針對性的測試，能夠快速的比較實驗結果，確定該地區的最優方案。
全球化釋出
全球化釋出也是公司在出海過程中所不得不面臨的挑戰。全球化釋出意味著運維成本的提高，同時多版本的管理也增加了發行的複雜性。執行中的 A/B 實驗，支援直接轉換為特性進行釋出。同時支援漸進式釋出、定時釋出，以及回滾操作等。透過使用特性發布功能，使釋出流程更加簡潔，減少釋出風險。
產品介紹
火山引擎 A/B 測試，限時免費，立即申請！
A/B 測試，擺脫猜測，用科學的實驗衡量決策收益，打造更好的產品，讓業務的每一步都通往增長。火山引擎首度釋出增長助推「火種計劃」，
火山引擎 A/B 測試作為「火種計劃」產品之一，將為您免費提 2 億事件量和 5 萬 MAU，以及高達 12 個月的使用權。點選“閱讀原文”立即參與！