前段時間在項目復盤會上，業務方向設計團隊提出一個值得深思的問題。

如何衡量和驗證設計的效果？

我認為這是一個很好的問題，之前我在與其他設計師朋友交流時，也嘗試請教過他們這個問題：你是如何衡量和驗證你的設計效果的？

我得到了五花八門的答案，有的人拿業務數據來說話，有的人用客戶反饋來答復，有的人則坦言需要靠老板來進行評估。

也許這些答案在各自的環境和場景下都具備一定的合理性，但因為他們的場景并沒有與我當前的業務場景契合，所以他們的方法無法為我所用。

于是我開始思考究竟怎樣的衡量和驗證方法，能夠應用在我當前的業務場景內。絕大多數設計崗位存在的意義是為了達成目標或解決問題。那如何判斷設計目標或問題是通過我的設計方案來解決的，解決方案好不好？設計的價值又是如何被量化的？是否有客觀的評價方式？

相信很多人會回答我，可以通過數據來進行量化。的確可以通過數據來進行設計價值量化，但新的問題也來了：

• 在方案設計之前，我如何知道需要監測哪些數據來輔助驗證設計效果？
• 在拿到數據之后，我又該怎樣通過數據來判斷我設計的效果究竟是好還是壞？

帶著問題，我查閱了一些資料，參考了 Google 產品團隊定義的 UX 指標，發現數據指標可以通過用戶體驗質量和產品目標兩步來確定。

用戶體驗質量簡單來說即你想要觀測設計的哪些維度的效果。產品目標則是基于你想要觀測的這些方面，按照「目標 → 標志 → 指標」的順序確定數據指標。結合這種方法來制定數據指標，思路會更加清晰明了，總體過程會呈現出這樣一個矩陣。

Part 1

用戶體驗質量

表格左列代表著待考量的用戶體驗質量維度，他們通常分為如下五類：

1. 情感

用于衡量用戶使用產品時的態度和感受，例如用戶對本次功能的滿意程度、用戶對操作流程感知的易用性程度等。

1.1 功能滿意度

（滿意人數-貶損人數）/總測試人數

舉例說明

滿意人數指打 9-10 分的人；貶損人數指打 0-6 分的人數。如果一個產品的滿意人數有 70 人，貶損人數有 30 人，那么滿意度為（70-30）/100=40%

數據用途

功能滿意度用以測算用戶對當前產品或功能的滿意程度。

1.2 Feedback 問題占比

通過反饋平臺收集的相關活動、功能或界面的問題反饋數/總反饋數

舉例說明

在某任務上線一周后收到的 3000 條反饋中，有 800 名用戶反饋新的界面不會操作或不好用，那么說明占比 26%的反饋人群對本次設計存在不滿意點。

數據用途

Feedback 問題占比用以直觀評估用戶操作過程中的感受，多數以主觀感受反饋為主，需要結合進一步調研來確定問題發生在哪里，以便于進一步的優化。

2. 參與

用于衡量用戶對新產品或新功能的參與度，例如每位用戶每周對新功能的訪問次數或每位用戶每天在產品內花費的時長。如下羅列的指標類型能夠用于衡量設計在場景轉化中發揮的作用。

2.1 活躍用戶數

一段時間內訪問的已登錄用戶數，通常分為日活（DAU）和月活（MAU）。一個用戶一天通過相同的渠道多次訪問產品，DAU 仍只算一個；在一月內多次訪問產品，MAU 仍只算一個。

舉例說明

10 月 15 日上線新功能或新活動，一共有 300 萬個登錄用戶訪問了平臺（包含通過其他渠道鏈接進入），則 10 月 15 日當天的 DAU 為 300 萬（去重）；截至 11 月 15 日共有 1800 萬個登錄用戶訪問了平臺，則該 30 天的 MAU 為 1800 萬（去重）。

數據用途

活躍用戶數用于衡量產品對用戶的粘性。方便產品和設計人員了解產品的每日用戶情況，了解產品的用戶變化趨勢。

2.2 頁面訪問次數（PV）和人數（UV）

PV=運營活動/頁面/功能曝光在用戶視野內的次數。

UV= 運營活動/頁面/功能曝光在視野內的用戶數，一個終端只算一個 UV。

舉例說明

用戶進入首頁，則只算一次訪問次數，用戶刷新頁面/退出重進時訪問次數累加。

用戶進入首頁，則只算一個展現 UV，退出重新進來 UV 不累計。一個用戶在 00:00-24:00 內多次進入首頁，則 UV 只算一個。

數據用途

頁面訪問次數（PV）用于判斷該活動/頁面/功能被用戶查看的次數；頁面訪問人數（UV）用于判斷有多少個用戶查看過該活動/頁面/功能。
這兩個指標能夠用于衡量頁面入口的設計是否足夠引人注目。

2.3 點擊次數和人數

點擊次數=點擊行為發生的次數（不去重）

點擊人數=有點擊行為的用戶數（去重）

舉例說明

10 月 15 日有 400 萬人訪問首頁，其中 10 萬人點擊首頁中的某按鈕，則該按鈕的點擊人數為 10 萬；10 萬人點擊了 12 萬次，則點擊次數為 12 萬。

數據用途

點擊人數和點擊次數用于了解用戶的使用行為，用于輔助判斷 PV/UV 點擊率和人均點擊次數 3 處數據。

2.4 PV 點擊率和 UV 點擊率

PV 點擊率=點擊次數/頁面訪問次數（PV）

UV 點擊率=點擊人數/頁面訪問人數（UV）

舉例說明

100 個用戶訪問了首頁，其中只有 10 個用戶點擊了首頁上的篩選項，但是每人平均點擊了 5 次，那么 UV 點擊率為 10%，但 PV 點擊率為 50%，說明篩選內容并不是對所有用戶都合適，但對那些多次點擊的部分用戶而言，會覺得篩選的內容很符合他們的需求。

如果 100 個人都點擊了，那么 UV 點擊率為 100%，說明篩選內容對所有用戶都比較適合。

數據用途

PV 點擊率和 UV 點擊率用于衡量頁面或功能中的內容對用戶的吸引程度。

2.5 人均點擊次數

點擊次數/點擊人數。

舉例說明

例如 10 月 16 這天有 10 萬人點擊了篩選按鈕，其中一共點擊了 12 萬次，那么人均點擊次數為 12/10=1.2 次。

數據用途

通過人均點擊次數可以判斷交互/視覺的設計要求是否足夠引人注目，也可以用于衡量該功能對用戶而言是否為強需求。

2.6 平均停留時長

所有用戶的停留時長總和/用戶數。

舉例說明

所有用戶在某任務頁的停留時長為 100 萬小時，一共在某任務頁停留的用戶有 200 萬，則平均停留時長為 0.5 小時。

數據用途

平均停留時長用來衡量頁面吸引度，對內容頁來說，停留時間越長，用戶粘性越強。當然也有反面場景，比如登錄注冊的表單填寫， 停留時間越長，說明體驗越差。

2.7 人均使用時長

用戶平均每天停留在產品的時間。

舉例說明

10 月 16 日有 100 萬個用戶一共在某產品使用了 50 萬個小時，則 10 月 16 日的人均使用時長為 0.5 個小時。

數據用途

用來衡量用戶使用產品的深度，判斷用戶使用產品的粘性和依賴度。用戶對產品的使用時長越高，說明對產品越依賴。

3. 接納

用于衡量上線產品或功能的新用戶增長程度。例如功能上線后最近 7 天創建的帳戶數或使用該功能的新用戶占比。這對于新產品功能或正在重新設計的產品特別有用。

3.1 新用戶留存數

一段時間內再次訪問的新用戶數，通常分為次日留存、7 天留存、30 天留存指標。

舉例說明

如下虛擬數據，1 月，新增用戶有 80 人。到 2 月時，1 月新增的 80 人中的 75 人再度訪問了產品，則第二個月的新用戶留存數為 75 人，流失數為 5 人。

數據用途

用來衡量產品的用戶粘性和產品的留存用戶規模。留存用戶數可以很好地展示留存用戶數的人數規模，并幫助了解新增用戶對產品的使用粘性。

3.2 新用戶留存率

某周期內新用戶留存數/某周期內第一天訪問的新增用戶總數，一般周期為次日、7 日或者 30 日。

舉例說明

接 3.1 案例，1 月新增用戶 80 人，2 月留存人數 75 人，1 月新增用戶在 2 月的留存率為 75/80=93.75%。

數據用途

• 日留存率通常用來衡量產品粘性；
• 周留存率通常用于判斷產生的忠實用戶數；
• 月留存率通常用于衡量版本迭代的效果，例如產品改版后，月留存率提升了，且其他變量沒有變化時，說明設計改版成功。
• 通過留存率可以很宏觀的判斷產品的用戶粘性是上升還是下降，這也是產品體驗最直觀的數據。

3.3 新用戶流失率

某周期內新用戶流失數/某周期內第一天訪問的新增用戶總數，一般周期為次日、7 日或者 30 日。

舉例說明

接 3.1 和 3.2 案例，1 月新增用戶 80 人，1 月新增用戶在 2 月的留存率為 75/80=93.75%，新用戶流失率為（100-93.75）%=6.25%。

數據用途

用戶流失率可用于追蹤之前是什么情況導致流失數據情況，便于進一步優化產品問題。

4. 保留

用于衡量上線產品或功能的老用戶穩定程度，具體包含現有用戶的留存率和流失率。例如在上線 7 天內產生的活躍用戶在上線 30 天后是否仍然在活躍？

4.1 老用戶留存數

一段時間內再次訪問的老用戶數，通常分為次日留存、7 天留存、30 天留存指標。

4.2 老用戶留存率

某周期內老用戶留存數/某周期內老用戶總數，一般周期為次日、7 日或者 30 日。

4.3 老用戶流失率

某周期內老用戶流失數/某周期內老用戶總數，一般周期為次日、7 日或者 30 日。

5. 完成

用于衡量流程設計的合理性，通常適用于產品中非常注重任務的區域。例如某任務的完成率和 UV 轉化率。

5.1 完成率

完成的操作次數/開始操作的次數

舉例說明

10 月 15 日上線某任務，用戶點擊領取任務按鈕 10 萬次，最終完成提交按鈕 2 萬次，則完成率為 2/10= 20%

數據用途

完成率可用于衡量操作流程的順暢度。完成率是產品設計中重要的指標之一，完成率越高，說明產品的操作體驗越好。

5.2 UV 轉化率

必要流程中的下一步環節操作人數/上一步環節操作人數。通常環節越多，UV 轉化率越低，流失率越高。

舉例說明

10 月 15 日上線某任務，當日從任務入口點擊進入該任務頁的人數為 1 萬人，點擊 Yes/No 選項的人數為 7000 人，那么該環節的轉化率為 7000/10000=70%，流失率為 30%；最終點擊 Submit 按鈕完成提交的人數為 4000 人，那么該環節的轉化率為 4000/7000=57%，流失率為 43%。

數據用途

UV 轉化率可用于針對產品中某些關鍵路徑的轉化率的分析，以確定各環節的優劣、是否存在優化的空間等。對于業務流程相對規范、周期較長、環節較多的流程分析,能夠直觀地發現和說明問題所在。

5.3 頁面跳出率

退出當前頁并在 30 分鐘內未再次打開的用戶數/在當前頁面的總人數

舉例說明

用戶通過首頁進入某任務頁，然后跳出并在 30 分鐘內未再次打開的用戶有 1 萬人，假設進入該任務頁的 UV 為 5 萬人，則跳出率 1/5 =20%

數據用途

頁面跳出率用于衡量頁面的內容質量或交互質量。

Part 2

產品目標

表格橫向代表從業務維度的思路梳理：

1. 目標

簡單說就是，你希望設計上線后，在哪個方面達到什么樣的結果。比如產品首頁內的篩選功能，在完成指標的關鍵目標是：用戶更快速地找到最相關的任務。

2. 標志

目標確定了，那什么信號標志著設計達到了或沒達到目標呢？

比如某頁面在完成指標的成功標志是用戶篩選后找到了自己想要的任務并進入了任務界面。失敗標志是用戶篩選后沒有找到自己想要的任務，在篩選環節流失了。

能判斷是否達到目標的標志可能有很多，這時候要結合實際情況取舍。比如這種標志追蹤起來方便嗎？它能隨你的設計變動而觀察到明顯的變化嗎？

3. 指標

指標比標志更加落地。例如，「用戶篩選后找到了自己想要的任務并進入了任務界面」這一標志用指標來體現就是「從篩選按鈕到任務界面的 UV 轉化率」。

通過「目標 → 標志 → 指標」流程，結合用戶體驗質量指標，就能清楚地知道要驗證設計的哪些方面，需要關注哪些數據來達到目的。

Part 3

提防數據陷阱

1. 尋找正確的數據目標

有一位作家打算重新設計他的個人網站，用來宣傳他將要寫的新書。

在設計網站時他做了個 AB 兩個方案。A 方案在網頁上非常詳細地介紹了將要寫的這本書，然后留了一個可填寫聯系方式的輸入框；B 方案則沒有任何關于書的介紹，僅放置了一個可填寫聯系方式的輸入框，并只寫了「如果你是設計師，你應該對這本書感興趣。請填寫你的聯系方式」一段提示。

最終 A 方案只收到了 33 個聯系方式，而沒有任何介紹性內容的 B 方案卻收到了 77 個聯系方式。那么，從這個實驗結果可以推斷出 B 方案更好嗎？

事實上可能并不是。

這位設計師設計網站的初衷是為了宣傳預售他的新書，衡量完成指標的標志是「有多少人對這本書感興趣且可能會購買它」而不是「收到更多聯系方式」，而聯系方式數量的數據無法成為「有多少人對這本書感興趣且可能會購買它」的成功標志，因此「B 方案比 A 方案更好」的結論也并不成立。

因此希望大家用以上表格來整理數據目標，就是為了避免從一開始搞錯了目標，那么再精確的數據統計也只能得到誤導性的結論。

2. 理解業務的數據價值

我們會發現一個有趣的現象，當我們在談論一家公司或一個產品是否夠成功時，基本是基于單一的數字，比如某 APP 有 2 億日活，它很棒；某平臺有 3000 萬產量，它很厲害等等。

和那些盲目喊著要擴大用戶數和規模的產品不一樣，對解題產品來說，有人在真正花時間解答題目，才是一件意義重大的事情，因此相對單純的生產數量數據，它更應該關注生產員或質檢員的產出質量。假如解題產品的日均產量很高，但用戶在任務界面上平均停留時長很短，那么我并不覺得這是一件值得高興的事，因為生產和質檢的結果可能會有很多問題。

我之前常常在想一個問題，為什么有些公司內部會如此熱衷于推廣 OKR 用以取代 KPI，直到進入頭條后我才發現原本 KPI 式的價值觀常常給人帶來誤區：數字即規模，規模就是一切。但我們可以看到，許多產品因用戶數量的驟增曾備受矚目，用各種運營手段在前期積累了出大量注冊用戶，但最終大批量流失，走向沒落。數字很重要，用戶數也很重要，但相比這些，我們更應該通過思路梳理，來幫助我們想清楚對于我們的產品來說核心價值是什么、究竟什么樣的數據才是最重要的。

3. 數據不是萬能的

數據不是萬能的。它就像問卷調查、用戶訪談等任何用戶體驗研究方法一樣有著其局限性。數據只能告訴你 What，卻不能告訴你 Why。

Data can only make a good design great, but can never make a bad design good.

數據可以用于支撐設計師的某項決定，但數據無法代替設計的直覺，更無法代替深入的用戶研究、可用性測試和設計同理心。

參考文獻：

• [1] 如何理解 DAU 和 MAU 這兩個數據？- Aaron 余樂的回答 - 知乎
  https://www.zhihu.com/question/24007425/answer/130382392
• [2] 數據分析｜計算用戶留存率 - 狗哥的文章 - 知乎
  https://zhuanlan.zhihu.com/p/123292172
• [3]Google HEART 模型：助力設計成果評估，提升用戶體驗 - 人人都是產品經理
  http://www.woshipm.com/user-research/1726864.html

歡迎關注作者微信公眾號：「今日頭條UED」