如何評估設計價值已經成為設計同行都在思考和研究的課題。本篇將通過復盤優酷設計構建內容行業的設計質量評估體系的過程，盤點國內外現有體驗度量理論和國內已有落地方法，總結設計模型的構建流程和方法，希望與設計同行共同討論設計價值量化的方法。通過閱讀本文章，設計團隊也可以構建屬于自己業務的設計質量評估模型。
設計站在藝術，心理，技術結合的交叉領域，做量化是有很大難度的，但是為了更科學有效的做設計，需要建立設計評估標準。現在，設計質量評估研究已經成為設計行業趨勢。阿里，滴滴，微軟等設計團隊都就設計質量度量進行了研究。優酷設計團隊基于現有研究，開始搭建設計質量評估體系。質量評估體系將幫助設計師明確設計方向和目標，并量化設計價值。
設計師在具體的工作中可能面臨這樣的問題：在做設計時，設計方案和產品業務策略高度融合，設計師常常說不清楚自己在其中貢獻了哪些部分；或者由于產品偏向于企業內部工具而缺乏充足和完善數據來驗證結果。出于為了設計師指出方向，量化設計價值的目的，我們通過建立設計質量評估體系，構建了一套“指方向，定目標，拿結果”的設計評估方法。這套方法能夠幫助設計師去統一和明確設計方向，正確的定義設計目標，通過科學的手段拿到結果。
- 指方向：通過建立設計質量評估模型，給設計團隊指明當然業務階段的設計方向。
- 定目標：幫助設計師通過業務目標拆解出設計目標，明確設計發力點。
- 拿結果：針對度量維度提供度量方法和可用工具，幫助設計師拿到結果。
我們計劃用 3 篇文章來分享下以上 3 點。本篇為「設計質量評估體系」系列文章的第一篇，主要講一下如何構建設計質量評估模型。我們通過在優酷設計團隊建立質量評估模型的過程，沉淀了如何構建設計質量評估模型的過程和方法。目前，這套設計質量評估體系正在落地實驗和迭代中，歡迎各位提出建議。
優酷的質量評估模型構建經歷了以下 3 個步驟：
Step 1. 構建用戶體驗度量框架：基于已有用戶體驗度量模型和相關理論的對比研究，并通過研究阿里集團內部及外部公司已有設計度量的模型和探索，總結出度量設計維度上的通用性和差異性，提煉出用戶體驗度量模型框架，明確設計在框架中可影響的維度和比重。
Step 2. 構建設計度量模型：這一步驟主要是為了將模型度量方法和優酷業務建立關聯。首先，我們提取了優酷各業務的核心目標，基于核心目標拆解出設計目標，并將設計指標影響的設計因素進行梳理和優先級排序，反推出設計度量模型，和 Step1 中的用戶體驗度量框架進行擬合，將模型維度迭代為更適合優酷特性的設計度量通用模型。
Step 3：構建具有業務特性的設計度量模型：為負責不同子業務的設計團隊建立模型，基于各設計團隊當前的核心目標，為設計師指出方向。
在構建模型之前，我們先要回溯到最初的用戶體驗評估模型和方法中去，我們帶著 4 個問題去進行研究：
- 行業中已有的用戶體驗度量模型有哪些？
- 從哪些維度可以度量用戶體驗？
- 用戶體驗和設計的關系是什么？
- 是否有可以將已有的模型用在自己的業務上？
帶著以上問題，我們進行了如下 4 個方面的研究：
1. 國外相關模型
國外用戶體驗行業興起早于國內，因此在理論研究上為用戶體驗的度量奠定了基礎。我們可以借鑒的關鍵模型為以下 3 個，其中，HEART 模型是目前各公司構建設計質量評估模型的基礎，如果要構建用戶體驗度量模型或設計質量評估模型，需要深入研究 HEART 模型。
- PULSE 模型
- HEART 模型
- GSM 模型
2. 國際標準
明確國際標準下的度量標準，以及相關定義:
- ISO-9126 軟件質量模型，評價軟件質量的國際標準
- ISO-9241 關于辦公室環境下交互式計算機系統的人類工效學國際標準
3. 主觀評估指標
了解行業衡量用戶體驗的主觀指標，和客觀指標共同度量設計體驗。
- 滿意度 CSAT
- 費力度 CES
- 凈推薦值 NPS
4. 阿里集團已有模型
集團已有模型研究給予了我們很大啟發，這些模型是基于國外已有理論，結合本土業務特點來構建的，更適合指導國內的業務。通過研究不同團隊和公司的質量度量模型，可以看到不同業務團隊關注的核心問題是什么，是出于什么目的來構建模型，這也決定了模型最終的形態和應用方式。
- 支付寶：PTECH
- 阿里云：UES
- 1688：五度模型
接下來則會詳細的展開介紹這些行業已有的內容，幫助我們了解這些方法的來源和發展，以指導我們目前的研究。
1. PULSE 模型-網頁體驗度量模型
PULSE 模型是傳統的網站衡量指標，通過商業指標和技術指標，衡量網站的整體表現。模型有 5 個維度：
Page View 頁面瀏覽量：產品指標，衡量頁面被用戶訪問的次數，以及逐級頁面的點擊轉化情況。
Uptime 運行時間：技術指標，衡量網站持續穩定的運行時間。
Latency 延遲：技術指標，衡量用戶打開頁面的速度。
Seven days active user 七日用戶活躍：產品指標，反映網站的實際運營情況，用于估計產品的用戶規模。
Earning 收益：商業指標，電商類更關注 GMV 等指標，視頻業務關注廣告，VIP 售賣等。
PULSE 模型是傳統的網站衡量指標，從技術、用戶忠誠度、商業收益來追逐產品的整體表現，無法直接通過模型去觀測到用戶體驗是怎么樣的。
2. HEART 模型-以用戶為中心的體驗度量模型
HEART 模型由 Google 于 2010 年發表于，是以用戶為中心的度量模型。HEART 模型的出發點是做以用戶為中心的，能夠用于大范圍的用戶體驗度量方法。雖然是為了網頁端而設計，但是到今天來看，HEART 模型仍舊可以來指導移動端的體驗度量。Measuring the User Experience on a LargeScale：User-Centered Metrics for WebApplications》提出，是以用戶為中心的度量模型。
HEART 模型也有 5 個維度：
Happiness 愉悅度：用戶主觀體驗，用戶覺得產品對其有幫助，容易操作，使用產品或者功能時總感到愉悅。
Engagement 參與度：用戶對產品內容感興趣并愿意經常使用。
Adoption：用戶看到新產品或新功能愿意進行使用。
Rentention：在一個時間內用戶愿意回來繼續使用產品或者功能。
Task Success：用戶能夠高效，準確地完成任務。
HEART 模型是一個構建完善的用戶體驗度量模型，涵蓋了用戶主客觀數據，以及可用性指標。如果想要構建一套自己的度量模型，需要先從 HEART 模型入手，理解用戶體驗度量的維度和指標，再看哪些適合自己業務特性。
3. GSM 模型
「無論一個度量標準多么以用戶為中心，它都不太可能在實踐中有用，除非它明確地與一個目標相關，并且可以用來跟蹤進展」——from Google UX team
為了將度量標準應用于實踐，Google 的 UX 團隊提出了 GSM 模型。G 是 Goal，S 是 Signal，M 是 Metric，是遵從「目標-信號-指標」的過程來定義數據指標的方法。
4. HEART+GSM
「通過明確團隊的產品目標，識別成果或失敗的適當信號（signal），然后度量來自這些信號的指標，產品團隊可以一致地，有效地評估用戶體驗并做出決策」—— from Google UX team
GSM 模型和 HEART 模型相結合，構建出了完整的用戶體驗評估模型。從模型中，可以看出每一個度量維度相關的目標、信號和衡量的指標，以及拿到這些衡量指標的評估方法。因此，模型的落地應用和目標的拆解密不可分。
HEART+GSM 模型構建了有效和全面的進行用戶體驗度量的基礎方法論。如果想要構建一套自己的度量模型，需要先從 HEART 模型入手，理解用戶體驗度量的維度和指標，再基于 GSM 明確模型應用的方向。
1. ISO-9126 軟件質量模型
ISO/IEC 9126 (1991) 軟件質量模型是評價軟件質量的國際標準。標準從產品、技術、設計 3 個方面，6 個維度來評價軟件質量。在設計方面，主要涉及的維度有「可移植性 Portability」中的「適應性」和「易安裝性」，以及「易用性 Usability」中的「易理解」「易學」「易操作」「一致性」。其中，「易用性」的概念涵蓋了用戶體驗中常規易用性的維度。「Usability」的衡量維度有著很大的借鑒價值，可以理解為「可用性」的概念拆分。
2. ISO-9241-11 Usability 可用性的定義
ISO9241-11 (1998) 從用戶角度出發定義什么是「可用性 Usability」。可用性的定義為一個產品可以被特定用戶，在特定場景下，達成特定目標的效率和滿意度。衡量可用性的三個維度為「效益」「效率」「滿意度」，相比 9126 的評估維度，增加了「滿意度」的主觀評價。
- 效益（effectiveness）：用戶完成任務的精確性和完整性。
- 效率（efficiency）：用戶完成任務所消耗的資源。
- 滿意度（satisfaction）：用戶對任務流程的可接受程度。
ISO9241 對 Usablity 的定義在今日的設計質量評估仍舊有很強的指導性和應用性。和 ISO9126 相比較，ISO9241 的對可用性的定義距離可用性的評估落地更進一步，具備很強的可操作性。在衡量完成特定任務的過程中，用「效率」和「效益」，一般為任務完成程度和所消耗的時間/人力即可評估出特定任務的可用性，在流程較長的 B 端產品體驗度量中尤為常用。
1. 滿意度 CSAT
Study of Customer Satisfation，即「滿意度」于 1965 年提出，其后被廣泛應用于衡量產品的用戶主觀感受。滿意度的適用性非常高，可以用于詢問用戶各種問題，可以看整體的產品體驗滿意度，也可以看具體的某個功能的滿意度。滿意度能夠體現出用戶對產品短期內的幸福感。滿意度的缺陷是無法體現用戶對產品的長期態度。
2. 凈推薦值 NPS
Net Promoter Score，即「凈推薦值」于 2003 年被提出，是一種計量某個客戶將會向其他人推薦某個企業或服務可能性的指數。NPS 被用于衡量用戶長期的幸福感，廣泛用于互聯網產品來衡量用戶忠誠度。
3. 費力度 CES
Customer Effort Score，即「費力度」于 2010 年提出，是基于滿意度無法客觀體現用戶忠誠度的研究所提出的。費力度通過詢問用戶產品是否容易處理用戶的問題，來發現用戶對產品最真實的評價和用戶的痛點，從而解決用戶關注的問題以提升用戶忠誠度。目前，費力度已經在國內的部分 B 端產品中得到落地應用，用于幫助設計師發現和解決復雜流程中的問題。
1. 支付寶 PTECH 模型
支付寶 UED 團隊提供以用戶為中心的 UBA（用戶行為分析）+ APM（應用性能監測）閉環下的體驗洞察，讓產品體驗可量化、可優化、可監控。可以看到 PTECH 是基于 HEART 模型來構建的，但是也基于自身業務特性做出了優化，例如：
NPS 改為用戶主觀滿意度：NPS 對 C 類產品是一個很有效的指標，對于企業級中后臺來說，往往由于企業產品的封閉內環、用戶基數等眾多原因，可能還是滿意度來的更加有效。
不強調留存率：企業級產品用戶往往沒有太多的可選余地，因此留存率未必適合用來衡量用戶對于產品的喜好。
參與度和接受度指標合并：對于企業級中后臺系統，用戶使用的目標性更強，TA 就是來完成某個任務或完成工作的，因此活躍度基本和產品能否滿足用戶的需求強相關。
2. 阿里云 UES 模型
UES（User Experience System）是阿里云設計中心通過多年設計實踐中沉淀下來的云產品使用體驗度量系統，阿里云的體驗度量模型是從達成阿里云平臺產品的設計體驗「一致性」為目的所誕生，在之后的發展中又增加了「易用性」、「任務效率」、產品的「滿意度」，技術的「性能」，在設計、產品、技術各團隊對體驗度量模型的認可度上，以及實際應用上，都是做的最為落地的。UES 不僅是一套方法論，更是一套可運行的體系。目前，UES 模型已經產品化，并能夠為集團內其他 BG 所應用。
關于這個模型更詳細的介紹：
3. 1688 五度模型
五度模型是阿里巴巴 1688UED 團隊在 Google 的 HEART 模型的基礎上，結合國內互聯網的特點，加上多年的設計經驗總結出來的。五度模型是按照用戶使用產品的整個生命周期過程來組織的，從用戶的行為與態度和當下與未來這兩個維度進行分解，五度分別為吸引度、完成度、滿意度、忠誠度和推薦度。相比阿里云和支付寶的模型較為適合 B 端產品，五度模型的應用場景更加適合 C 端產品。
1. 通過設計維度+設計目標的交叉來建立設計價值和業務價值的關聯性
經過我們的對比研究，設計質量模型的構建方法就是用“HEART+業務特色”來建立的。通過加入 GSM 模型，通過業務目標拆解設計目標，則可以讓設計價值和業務價值建立連接，具體如何拆解設計目標我們將在下一篇文章“定目標”里詳細闡述。
2. 影響產品用戶體驗度量的關鍵因素
產品類型：企業級產品（B 端產品）和消費級產品（C 端產品）可用的評估方法和維度有所不同，這也是由于其用戶的類型和量級不同所導致的。
功能類型：設計需要考量的維度也具有較強的共通性，例如任何功能類型都可以從易用性角度考察設計是否清晰、易讀、高效。但是，如果某功能需要要用戶完成一系列復雜的操作，則需要更多的去考量易用性。
用戶態度：用戶對產品的主觀感受，包括心智的認知和情感都可以作為衡量用戶體驗的維度。其中，NPS 是 C 端業務最為關注的用戶忠誠度指標，如引入 NPS，可以將設計或者用戶體驗對 NPS 的影響也作為設計的目標考量。
性能體驗：產品的穩定、流暢性。例如開啟速度、卡頓比率、崩潰率等技術性指標。
根據 C 和 B 業務拆分為用戶、產品、技術 3 個部分的度量內容；其中 B 端依據產品的用戶群分為對外產品和對內產品，對外產品的維度和 C 端產品更類似。
通過 GSM 模型推導設計指標。
度量方法和指標。
我們已經有了用戶體驗模型的初步結構，也對產品進行了劃分類型，初步劃分了 C&B 端不同類型業務看的維度是什么，給出了用戶體驗度量的方法。但是對于設計層面仍缺乏更細節的指向性。因此，我們嘗試從目前最關注的業務的核心目標上，進一步構建具有一定「業務指向性」的「設計」度量模型。
基于不同的業務特性，每一個模型對維度的選擇和側重也不相同，阿里云、支付寶、1688 等的模型是具備自身業務特性的，因此不同的業務也需要仔細考量自身的業務特性是什么，才能建立對自己行之有效的設計評估模型。這方面，也需要通過盤點核心業務，用戶訴求，再將業務目標拆解到設計目標來驗證維度的構建是否合理。
1. 建立設計度量維度和用戶的關系
用戶是如何通過產品的「設計」來達成目標的呢？設計能夠幫助用戶去更好的理解和使用產品。我們采用了「個體學習的 OADI 模型（Kofman，1992）」來建立用戶和設計的關聯性。個體的學習過程可描述為“ 見－解－思－行”的循環，簡稱 OADI 循環。
「見 Observe」 是看到，是從外界或者經歷中取得信息，在設計層面可以對應為「吸引性」。
「解 Assess」是理解，是對得到的素材進行解釋、評估，加以理解，在設計層面可以對應為「易理解性」。
「思 Design」是吸收，是對理解的信息進行分析重構，在設計層面可以對應為「易用性」。
「行 Implemen」是行動，是基于信息進行行動，在設計層面可以對應為行動的質量，即為「任務效率」。
2. 建立設計度量維度和業務目標的關系
產品是如何通過「設計」來達成目標的呢？設計要幫助產品達成業務目標，那么設計就需要從產品的目標去找到設計發力點。我們總結了一套「明確產品訴求-明確產品評估指標-設計目標推導-建立設計目標和設計維度的關聯」的方法，來建立產品目標到設計目標和衡量維度到關聯。
3. 初步構建設計質量評估模型
4. 模型使用和反饋收集
設計師使用模型的主要難點：
- 模型的維度較多，不同的項目應該重點看哪個維度？
- 視覺和交互鏈路重合，但是對于視覺設計師和交互設計師而言，看的維度是否有側重？
- 設計目標的拆解應該如何進行？
為了降低設計師的使用成本，設計團隊基于不同的功能或場景抽象出優先考慮的度量維度，以更快速的給設計師指出方向。
1. 進一步明確優酷視頻業務 C&B 端的產品特性
C 端視頻分發和消費場業務核心目標為「分發」、「消費」、「互動」。B 端產品的核心目標為「任務效率」，具體場景為多角色的多步驟任務，以及信息圖表的瀏覽和決策。通過目標拆解方法，匯總用戶消費和互動的核心鏈路上的設計發力點，再次匯總設計維度。
2. 明確設計維度和用戶主觀態度的關系
明確設計各維度之間的關系，主要是為了進一步挖掘設計維度和 NPS、忠誠度的關聯性。
3. 重構通用模型
通用模型為各業務、產品都會涉及到的設計通用維度，更專注于設計本身的維度度量。任何功能類型都可以從基礎體驗和完成度角度考察設計是否吸引、清晰、易讀、高效。將滿意度和費力度合并在一個類別中，作為用戶主觀態度維度。另外，新增了品牌性和創新性，激勵設計師在這兩個專業方向上進行探索。在模型的自構建上可以有一定的自定義維度，來滿足當前業務的設計指向性上的需求。
4. 針對各業務的設計團隊制定具備指向性的模型
針對各業務的設計團隊制定具備指向性的模型。我們基于目前優酷業務的主要 3 類產品「B 端平臺」、「長視頻消費端」、「短視頻消費端」來構建模型。各業務選擇了當前業務最關注的維度構建了自己的模型。
1. 模型構建
基于 HEART 和 GSM 的模型構建方法已較為完善，各設計團隊在研究之后可以構建能夠指導自己團隊的設計質量度量模型。
設計維度的選擇從自己業務的核心場景和目標來推導。需要通過核心業務的場景或路徑明確達成目標的用戶關鍵使用路徑，判斷哪些維度能夠影響到業務指標和用戶關鍵路徑上的指標，將這些指標選擇出來作為核心維度。
設計的度量需要考慮主觀和客觀數據，用戶主觀態度和數據指標需兼顧才能全面的對設計進行度量。
2. 注意事項
設計質量度量模型是一種指方向的方法，需和設計目標結合起來使用，用于指導設計師在具體設計中所關注的維度和發力點。
設計質量度量模型為設計指出了大的方向，但是具體落地還有賴于基于具體的業務場景去選取其中的部分方法來應用。
設計質量度量模型的衡量維度在一個階段內不宜過多，用于集中設計師的目光去完善自身的設計，但是對于部分場景或者任務可增加一些輔助的維度用于全面的度量設計質量。
3. 部分參考文獻
- 2010 ACM, Measuring the User Experience on a LargeScale：User-Centered Metrics for WebApplications
- ISO/IEC 9126:1991, Software enginnering — Product quality, https://www.iso.org/standard/16722.html
- ISO 9241-11:1998, Ergonomic requirements for office work with visual display terminals (VDTs) — Part 11: Guidance on usability, https://www.iso.org/standard/16883.html
- 2003, The One Number You Need to Grow, https://www.netpromoter.com
- 《U 一點·料：阿里巴巴 1688UED 體驗設計踐行之路》
- 產品使用體驗如何量化與管理—阿里云 UES 揭秘 https://mp.weixin.qq.com/s/9LJXsdXL54BzyuKcMjo8KA
- 2019 SEE CONF 螞蟻金服體驗科技大會
歡迎關注作者的微信公眾號：「AlibabaDesign」
復制本文鏈接 文章為作者獨立觀點不代表優設網立場，未經允許不得轉載。
發評論！每天贏獎品
點擊 登錄 后，在評論區留言，系統會隨機派送獎品
2012年成立至今，是國內備受歡迎的設計師平臺，提供獎品贊助 聯系我們
標志設計標準教程
已累計誕生 729 位幸運星
發表評論 為下方 9 條評論點贊，解鎖好運彩蛋
↓ 下方為您推薦了一些精彩有趣的文章熱評 ↓