本文通過介紹體驗度量模型升級研究過程、研究方法及研究結果等內容，結合實際 C 端產(chǎn)品應用，觀測新模型運行周期的表現(xiàn)，驗證了其在高速發(fā)展的業(yè)務形態(tài)和日益變化的用戶需求上的適用性和有效性。

更多度量方法：

我們從體驗價值為導向的底層模型設計，到主客觀體驗影響因子在實際業(yè)務運用的方法，探索出一套切實可行的驗證設計價值的體系。通過對體驗度量模型不斷地調優(yōu)，不僅能夠診斷出過往產(chǎn)品策略和行動是否對用戶有效，而且能夠前瞻性的預測出未來的體驗走勢。

一、背景

本次用戶體驗度量模型 3.0 是在 2.0 度量模型基礎上進行的全新升級。如果說體驗度量模型 2.0 是讓團隊共識了體驗需要“科學”度量這件事，那么這次體驗度量模型 3.0 則要求模型驗證體驗的"價值"。

在升級前我們一直在思考這樣的問題，如何讓度量模型能夠更適用于快速發(fā)展的業(yè)務以及不斷變化的用戶，能夠預判出未來體驗趨勢。

我們將此次升級體驗度量模型的內容完整的分享給正在搭建度量模型或者是想要升級度量模型的設計團隊，希望能給大家?guī)砀嗟膯l(fā)。

二、現(xiàn)狀問題

過去一段時間里，體驗度量模型 2.0 的內容普適性很好，在物流各個系統(tǒng)運行正常。但由于各條業(yè)務線發(fā)展不統(tǒng)一，體驗度量模型 2.0 度量出來的內容與日益發(fā)展的 C 端業(yè)務系統(tǒng)產(chǎn)生不匹配的情況。為了進一步確認問題，籌備前期我們通盤對度量模型應用在客戶端上體驗的問題和建議進行搜集。主要涉及三個方面問題：

1. 視角單一，問題不聚焦：原先度量模型業(yè)務參與度不高，缺失對指標深刻理解；加上業(yè)務高速發(fā)展，舊的指標指導實際業(yè)務價值不高，導致產(chǎn)品和業(yè)務的人員關注度不高；而度量出來的內容又無法聚焦問題。
2. 度量值無基準線參考，分數(shù)差異不明顯：模型本身度量值無基線值參考，也沒有對標值，對當前產(chǎn)品達成好壞情況比較模糊。另外，體驗分數(shù)檔位差距不明顯，尤其是 10 分值小數(shù)點后的變化感知度不強，很難直觀看出問題所在。
3. 缺少行業(yè)視角，標準不明確：對產(chǎn)品所處的行業(yè)情況存疑，長期以往則會陷入自我感覺良好而沒有真實反映產(chǎn)品競爭力的情況。

基于此，本次模型升級圍繞解決問題不聚焦視角單一、度量值無基準參考、度量標準不明確等問題進行。

三、研究目標和方向

根據(jù)現(xiàn)有問題找差距，依據(jù)差距確立行動目標。

1. 更聚焦問題。確定研究框架，重構研究流程。相較于度量模型 2.0，在公司戰(zhàn)略“自上而下”視角中業(yè)務需要看什么之外，增加“自下而上”可感知的用戶視角。
2. 更突顯對比。豐富指標，優(yōu)化度量方式。拆解業(yè)現(xiàn)有業(yè)務目標，豐富主、客觀指標庫，嚴選每個指標及確定各指標基線值和目標值。
3. 更看清差距。優(yōu)化、引入其他對比維度。從內部自己與自己比變?yōu)榕c外部行業(yè)垂類 TOP1 比。

本次度量模型升級以 C 端產(chǎn)品為起點，明確度量模型價值，作為過程管理的工具，彌補系統(tǒng)層細節(jié)體驗缺失問題，快速幫助業(yè)務、產(chǎn)品、體驗進行決策，達到青出于藍而勝于藍的效果。

四、研究框架和過程

在確定行動目標的指引下也確定本次升級主要從四方面進行：維度確定、權重確定、指標確定、度量值確定。

1. 模型框架

度量模型共五層，第一層為度量分數(shù)——體驗總分；第二層為權重層，包含主觀、客觀權重；第三層為主客觀對應的維度層；第四層則是對應維度下指標層；第五層則是具體指標賦分情況。

2. 維度研究

維度研究方法及過程介紹

本次升級對維度研究方法上做了優(yōu)化。一方面從公司視角“自上而下”，專家意見作為參考深度綁定，對度量模型重新進行打亂和重排。另一方面從用戶可感知的“自下而上”出發(fā)，結合定性和定量研究，進行用戶訪談、重新繪制用戶旅程圖，進而用因子分析方法確定指標維度。確立好的研究方法之后我們開始重構維度研究。

1. 搭建維度庫：在維度研究前期對行業(yè)內體驗度量維度內容進行了分析和整理，取并集進行總結，搭建出一套完整的維度庫。
2. 組建專家組，專家訪談：基于三大職能六個崗位選出資深 9 位專家成立了專家小組。通過一對一深訪確定專家訴求以及未來預期，明確快遞小程序體驗度量的關注重點及維度。
3. 討論驗證確定維度：本著 MECE 原則（相互獨立，完全窮盡原則）、可度量、可提升三個標準進行維度確定。期間，根據(jù)專家組給出的度量結果與維度庫結果進行匹配，也是將理論與實際進行結合后輸出 3 套可行方案。我們對每一套方案優(yōu)勢和劣勢進行了充分討論，在經(jīng)歷 6 輪討論后最終確定維度方案。

維度研究結果

最終我們得到了功能體驗、性能體驗、易用體驗、情感體驗四個維度

1. 功能體驗：功能是否完善，基礎功能覆蓋以及包含用戶意圖識別的定制化功能
2. 性能體驗：產(chǎn)品基礎性能、穩(wěn)定性表現(xiàn)
3. 易用體驗：易操作、易學、易查找、清晰可見
4. 情感體驗：包含滿意度、忠誠度、推薦度，包含用戶選擇產(chǎn)品的原因

這四個維度基于產(chǎn)品系統(tǒng)本身，從有用的基礎的功能體驗至卓越的性能體驗，直到成為好用的易用體驗升華至用戶愛用的情感體驗。

從最終確定的維度結果上看，相較于之前，維度的內容范圍更明確更易懂，最重要的是各方達成統(tǒng)一共識，這一點對于后期度量出來的內容受各方高度關注起到了關鍵性的作用。

3. 各維度權重研究

主客觀權重、客觀各維度權重研究方法

維度確定后，接著就需要對主觀權重、客觀權重進行確定，以及各維度權重系數(shù)進行確認。主客觀的權重采用的是 AHP 層次分析法。具體的定義可參考下面詞條的內容，我們重點介紹如何使用的。

“AHP 層次分析法是一種將定性與定量分析方法相結合的多目標決策分析方法 。該方法的主要思想是通過將復雜問題分解為若干層次和若干因素, 對兩兩指標之間的重要程度作出比較判斷, 建立判斷矩陣, 通過計算判斷矩陣的最大特征值以及對應特征向量，就可得出不同方案重要性程度的權重, 為最佳方案的選擇提供依據(jù)。”——引自百度百科

首先建立層次結構模型，其次通過專家重要性比較打分，最終通過軟件分析效驗計算得出權重系數(shù)。

1. 建立層次結構模型：將系統(tǒng)體驗度量分解為維度，按照因素間的相互關聯(lián)影響以及隸屬關系將因素按不同的層次聚集組合，形成一個多層次的分析結構模型。例如體驗度量分主、客觀維度，而客觀維度下又是由功能、易用、性能、情感四個因素構成。構建好層次模型后就可以將所有因素放在一起進行兩兩比較了。
2. 專家重要性比較：組建的 9 名職能專家組分別對主觀維度及客觀維度的相對重要性進行了評價。
3. 軟件分析效驗：按照專家評價結果，通過軟件 yaahp 計算出各維度權重系數(shù)。最終專家組針對結果進行討論，確定權重系數(shù)。

通過這樣的方法，我們同時確定了主客觀權重，以及客觀各維度的權重系數(shù)。這次主客觀權重相較于之前是有變化的，而這種變化的根本原因在于，自上而下對現(xiàn)有產(chǎn)品清晰定位及最終目標導向的結果，可以說是團隊共識之后，致力做好用戶體驗決心的一種體現(xiàn)。另外，客觀各維度的權重也會隨著產(chǎn)品的發(fā)展階段而進行調整。

主觀各維度權重確定

與客觀維度確定不同，主觀各維度權重的確定采用的是因子分析法（Factor Analysis）。它是一種數(shù)據(jù)簡化的方法，主要用于對一組數(shù)據(jù)較多而且相互關聯(lián)的變量進行提煉與概括。因子分析的目的是以盡可能是少的信息損失，把大量相互關聯(lián)的變量濃縮為少數(shù)幾個因子，便于對數(shù)據(jù)的理解和進一步的統(tǒng)計分析。

如果說層次分析法輸出的專家組認可的維度，那因子分析獲得則是用戶可感知到維度。因子分析最難的部分是因子結果可以與層次分析法得到的維度匹配上，在這個階段中可能需要不斷的調整量表、分析結果、檢驗到再調整、再分析、再檢驗。

因子分析是本次模型升級最大的亮點，它不僅解決舊模型可信度的問題，更重要的是幫助我們看清從用戶感知層面評價出來的維度以及對應的權重分配，為后期體驗問題的聚焦及決策上提供了支撐依據(jù)。

4.? 指標研究

主觀指標研究

在主觀各維度研究的時候提到構成主觀各維度的主觀指標，主觀指標研究分為兩步，先搭建主觀指標庫，在篩選指標。由于主觀指標庫是在原有基礎上進行的，本次主要從細化指標和擴充維度進行。一方面是按照用戶視角，對用戶旅程階段的觸點進行細化，另一方面根據(jù)業(yè)務視角，通過業(yè)務的目標拆解進行指標擴充。當有這些指標后，以滿意度的方式回收用戶反饋，繼而對問卷結果進行因子分析，確定最終對整體分數(shù)的貢獻度情況。

客觀指標研究

在客觀指標研究上也是先搭建客觀指標庫，再進行客觀指標篩選。

客觀指標庫搭建的原則：業(yè)務目標導向、數(shù)據(jù)質量、產(chǎn)研側專家評價。在搭建客觀指標庫時，首要是強綁定業(yè)務目標導向，納入指標庫的指標要與業(yè)務指標關聯(lián)緊密。其次指標數(shù)據(jù)的質量要真實、客觀，觀測一個好的指標要看過往數(shù)據(jù)反映問題的情況以及有效的指導一線業(yè)務行動。

最后也需要產(chǎn)研側專家篩選最貼近產(chǎn)品實際和目標的客觀指標?；谶@樣三層原則我們搭建出快遞小程序客觀指標庫。在進行客觀指標篩選過程中確定篩選指標的四個標準：可衡量用戶價值、反映產(chǎn)品策略、指標直觀可拆解、與營收相關的先導性指標，最終確定每個維度下的客觀指標。當然，過程中也有發(fā)現(xiàn)指標應用價值高但數(shù)據(jù)統(tǒng)計口徑有出入的，以及現(xiàn)有指標不滿足需求的額外需要新設計指標的情況。

5. 度量值研究

主觀賦分

度量值簡單理解就是賦分，主觀分數(shù)是通過因子分析中用戶打分的結果得出分數(shù)。

客觀賦分

度量模型 2.0 客觀指標賦分采用的是分箱法，選取過去一段時間的數(shù)據(jù)，查看其最小值、最大值及平均值、中位數(shù)的分布情況，進而設定自身的客觀評分標準。

這種依據(jù)數(shù)據(jù)等頻進行的劃檔賦分，實際得出的分數(shù)不夠敏銳，看不出來每個指標數(shù)據(jù)變化的情況。另外，客觀賦分延用主觀用戶打分的十分值，由于之前沒有基準線和目標值的對比，加權之后的分數(shù)難以直觀的暴露問題。這會導致大家容易忽略真實的體驗問題。新模型賦分則采用了區(qū)間映射法。簡單理解，當期要測量值在度量標準區(qū)間內完成的情況。我們也是在對比多種賦分方法后發(fā)現(xiàn)該種賦分方式最直觀、清晰反映數(shù)據(jù)變化情況。

采用該種賦分方式需要注意兩個方面內容。

1. 數(shù)據(jù)分布要符合正態(tài)分布特征：在我們選取的指標中，大部分的數(shù)據(jù)直接呈現(xiàn)正態(tài)分布特征，顯著性檢驗 p 值大于 0.05。而小部分的數(shù)據(jù)并未呈現(xiàn)這種特征，需要進行數(shù)據(jù)特定函數(shù)關系轉化使其呈現(xiàn)正態(tài)分布特征。
2. 度量值范圍選取 2 個標準差：我們選取 2 個標準差的原因一方面是依據(jù)正態(tài)分布特征，95.45%的數(shù)據(jù)是在 2 個標準差范圍內，另一方面也是結合實際情況尤其是歷史數(shù)據(jù)變化的覆蓋有余，既不好高騖遠也能實事求是。

以上是我們升級模型的全過程，那么最后我們介紹下升級后的度量模型在實際產(chǎn)品運行的情況。

五、小結

最后，通過一張全景圖我們回顧下度量模型升級的內容。對比舊模型，新的模型在分數(shù)映射上更加敏銳，增加雙面感知評估框架更科學，豐富后的指標庫對問題的洞察更聚焦。

升級后的度量模型在 C 端產(chǎn)品上已經(jīng)運轉近一年了，它以全新的視角讓我們看到了真實的業(yè)務發(fā)展的情況。在大環(huán)境的變化、業(yè)務的變化、用戶需求變化下，度量出來的內容第一時間能讓我們觀測到這種變化。既而我們能夠有效的抓住時間窗口期，迅速做了響應的策略進行體驗改進落地。

歡迎關注「JellyDesign」的小程序：