如果你公司的產品數據反映出用戶下單完成率很低、如果你公司年度目標是提升銷售額、如果用戶反映下單流程太復雜，...作為產品、設計、運營，你應該怎么做才能夠為用戶、為公司業務解決這些問題？你需要找到針對這些問題的優化點，并且做優化實驗，通過數據的反饋來持續優化產品。

本文以 Keep 為例子，進行「提升用戶關注率」的增長實驗，出發點是為了長期促進平臺用戶的活躍程度和互動。

以下是本文大綱：

第一步：明確實驗目標和類型

• 明確實驗目標
• 明確實驗類型

第二步：用數據支持實驗假設

• 從三類數據中尋找證據支持假設
• 最佳時間中的 Lift 模型
• 沒有定量和定型數據，怎么做實驗假設

第三步：提出實驗假設

• 實驗假設的模板
• 針對 Keep 優化的幾個實驗假設

第四步：對實驗假設進行優先級排序

• ICE模型打分法
• 用ICE模型為 Keep 的實驗假設做優先級排序

第五步：設計一場實驗

• 確認實驗假設
• 選擇實驗指標
• 確定實驗受眾
• 設計實驗版本

第六步：根據數據分析和應用結果

• 分析結果及評可信度
• 使用置信區間提高結果可信度
• 根據實驗結果決定下一步

第一步：明確實驗目標和類型

1. 明確實驗目標

出發點決定目標。我們在做每個優化方案的時候，都應該從實際的業務問題和用戶反饋出發，而不是從自己的想法出發。

“我覺得用戶需要這個功能”

“領導說了，就用這種交互方式”

“這個界面太難看了，要改”

當聽到這種自主代入用戶而產生的想法時，應該思考：「公司現在的目標是什么？當前支撐這個目標最應該實現的功能是什么？」「什么交互方式才適用于用戶，在相同業務邏輯和用戶使用場景下，有沒有原理支撐和數據論證？數據從哪來？」「界面難看，是個人感官還是用戶使用過程中產生了困難而提出反饋？」

以 Keep 作為例子來說，這次優化是從業務角度出發，目的是長期促進平臺用戶的活躍程度和互動。所以實驗目標是提升用戶的關注率，即提升單點轉化率。

常見的產品優化目標有：提升單點轉化率、提升全漏斗轉化率、對比新舊版本的指標、新功能探索、提升留存率、個人化等等。

2. 明確實驗類型

上述提到的常見優化目標可以劃分為兩個類型：簡單實驗和復雜實驗。

• 提升單點轉化率和全漏斗轉化率都屬于簡單實驗，用文案測試、設計測試、單頁面測試、路徑測試等方法就可以實現。
• 對比新舊版本指標和新功能探索、提升留存率等，則屬于復雜實驗，需要新版本上線或者使用算法來進行。

第二步：用數據支持實驗假設

1. 從三類數據中尋找證據支持假設

這三類數據分別是「定量數據」、「定性數據」、「最佳實踐」。

定量數據可以幫助我們發現問題；定性數據可以幫助我們了解這個問題是怎么發生的；最佳實踐告訴我們怎么改比較好。

定量數據是指轉化率計算、用戶分群、點擊熱圖、路徑分析、場景細查、漏斗分析等。

定性數據是指用戶可用性研究、用戶問卷或訪談、錄屏和點擊錄像、實時聊天和產品內彈窗等。

最佳實踐是指Lift模型、用戶心理學、文案寫作最佳實踐、UX和設計最佳實踐、路徑設計最佳實踐。

2. 最佳實踐中的 Lift 模型

Lift 模型的原理就是基于數據認識的基礎，在營銷信息中找出問題，設計有關解決這些問題的假設來提高產品效益，得出改進問題的結果，從而提升轉換率。

影響Lift模型的6個因素分別是價值主張、相關性、清晰度、緊迫性、焦慮性、注意力分散。

價值主張是載體；相關性、清晰度、緊迫性是推動因素；焦慮性和注意力分散是阻礙因素。下面這張圖會幫助你了解這六個因素的關系：

要達到目的，我們應該加強推動因素的強度，降低阻礙因素的影響：

強化價值主張

明確有力的營銷口號，用戶可以精準感知到自己能獲得怎樣的好處

放大相關性

落地頁、轉化頁符合用戶預期，與你的價值主張緊密關聯

提升清晰度

體驗流程清晰流暢，用戶清晰知道下一步應該做什么，怎么操作

降低焦慮性

做減法，不要給用戶過多選擇，不要做不符合用戶預期、習慣的事

降低注意力分散

減少視覺干擾、信息噪音，只為一個核心目的服務

制作緊迫性

營造饑餓感促使用戶決策，善于利用稟賦效應、損失厭惡等用戶心理

3. 沒有定量和定性數據，怎么做實驗假設

如果有定量和定性數據，實驗會更準確。但是目前我缺乏 Keep 的這些數據，所以采用了其他方法去做實驗假設。

• 梳理 Keep 的產品結構，找到現有的關注路徑有哪些；
• 按照關注行為倒推關鍵觸點，并分析用戶在什么場景下會關注其他用戶；
• 從關鍵行為歸納引起關注行為的種類，找出可干涉的修改點。
• 對于可干涉的修改點，在其他產品中找相應的參考。

第三步：提出實驗假設

1. 實驗假設的模板

經過分析和參考，此刻你應該產生了好幾種假設。為了能夠清晰描述實驗假設，你的假設必須包含明確的指標和時間限制，要解析背后的原因，并且可以被證偽。這是一個常見的假設模板：如果具體的改動，預計某指標可以提升x%，因為深層的原因——有數據支持的假設。

比如“在新浪微博的首頁投放廣告可以引流用戶到天貓旗艦店”這個假設應該寫成：「在新浪微博首頁投放關于該產品的廣告，可以在投放后的三周內為品牌的天貓旗艦店引流 500 位用戶，因為這個廣告清晰介紹了產品的功效。」

2. 針對 Keep 優化的幾個實驗假設

第四步：對實驗假設進行優先級排序

1. ICE模型打分法

使用 ICE 模型打分法，可以直觀看到實驗假設的優先級排序。ICE 模型是一個從預期影響（Impact）、成功概率（Confidence）、容易程度(Ease)三個方面為實驗設想打分的模型。預期影響指的是實驗能夠覆蓋的用戶數和實驗的成功后能夠提升多少指標；成功概率指的是能否在數據中找到足夠有力的洞察支持；容易程度是指實現這個假設需要多少成本。綜合三個方面的打分，評分最高的則優先級最高。

2. 用ICE模型為KEEP的實驗假設做優先級排序

第五步：設計一場實驗

1. 確認實驗假設

如果用戶在某個文章或動態上停留5秒以上，“關注”按鈕變亮變大，提示用戶可以關注此博主，預計某指標可以提升到 6 %，因為該改變突出了關注按鈕，能吸引用戶的注意力。

2. 選擇實驗指標

實驗指標分為核心指標、輔助指標和反向指標。

核心指標，一般選取一個，是決定實驗成敗的關鍵指標。找核心指標的時候，你需要思考這些問題：實驗的最終目標是什么？你最想要影響的指標是什么？哪個指標能夠告訴你實驗組的改動是成功的？

輔助指標，一般選取不超過十個，它是監測其他實驗可能影響到的重要指標，幫助你全面了解實驗結果。常見的輔助指標是漏斗細分步驟轉化率、重要的下游指標和其他關鍵用戶指標。

反向指標，一般是一至兩個，作用是提示實驗可能的負面影響。常見的反向指標有NPS、郵件退訂率、頁面退出率、其他按鈕點擊率、應用刪除率、Push退訂率、訂單取消率、其他頁面訪問率等。

3. 確定實驗受眾

實驗受眾包含兩個內容，一是實驗對象，二是實驗樣本數。

實驗對象可以選擇所有用戶都進入試驗，或只有符合特定條件的用戶才能進入試驗。如果選擇特定用戶群體進行實驗，會幫助生成更精細的產品優化方案。通常會通過第三方A/B測試的工具來進行設置。

實驗樣本數是指確認結果統計顯著性所需要的最小樣本數。統計顯著性是指對照組和實驗組之間的轉化率有多大可能是真實存在而不是隨機誤差引起的。一般建議至少要求95%的統計顯著。在這里推薦一個估算所需樣本數的工具：云眼。https://www.eyeofcloud.com

那么，怎么決定實驗的時長呢？實驗時長=所需總樣本數/實驗頁面每天的訪問數。

4. 設計實驗版本

實驗版本取決于實驗假設的數量，只選擇高質量的實驗假設能夠減少實驗成本。不同的實驗類型也會影響到版本數。如果是優化實驗，每個版本只改變單一的變量，可以明確改動的影響。如果是探索實驗，則可以同時改變多個變量，設計全新的版本。

第六步：根據數據分析和應用結果

1. 分析結果及評估可信度

以下是實驗在3天和14天時的數據情況。根據這些數據，從樣本分流是否均勻、核心指標是否達到統計顯著、輔助指標是否和核心指標趨勢一致、反向指標是否有異常等角度來分析結果的可信度。

我的判斷是兩個數據都不可信。其實14天的數據情況，有人判斷結果是可信的。這個沒有絕對的對錯，只有對數據的要求是不是十分嚴謹。我判斷不可信的原因是，我認為分流的樣本誤差達到4%，不夠嚴謹。

2. 使用置信區間提高結果可信度

置信區間是指由樣本統計量所構造的總體參數的估計區間。在統計學里面，一個概率樣本的置信區間是對這個樣本的某個總體參數的區間估計。利用置信區間的計算，可以提高實驗結果的可信度。劉津老師的 UGD lab 制作了一個置信區間計算的微信小程序，感興趣可以搜索小程序的名字：A/B測試計算器。

假設 14 天時的數據為樣本分流均勻后的結果，驗證時間足夠，反向指標數據逐漸趨同，在實驗結果可信的情況下，可以增加置信區間計算，再次確認結果是否可信。

3. 根據實驗結果決定下一步

判斷實驗是否成功，要注意指標判斷的標準、兩種觀測周期的變化外以及產生的四種狀態：統計顯著的指標大幅度或小幅度提升，則實驗組勝；統計顯著的指標下降或無差別，則對照組勝。

如果實驗成功，應該將實驗產品化，放大實驗的影響。如果實驗失敗，則考慮放棄還是繼續迭代。

備注：本文中所有與 keep 相關的界面，均為 keep 軟件的截圖，其中為了展示實驗的效果而做了部分界面的調整。實驗中的數據均為虛構，如有雷同，實屬巧合。本文的重點在于如何科學地做好一場 A/B 測試，請勿過分解讀數據。

歡迎關注作者微信公眾號：「一點牙線」