秉承 58 同城“用戶第一”的核心價值觀，設(shè)計團(tuán)隊建立以基礎(chǔ)體驗指標(biāo)為評估標(biāo)準(zhǔn)、發(fā)掘體驗問題的評估機(jī)制，并借助內(nèi)外部業(yè)務(wù)專家視角，對 58 同城各產(chǎn)品的重點(diǎn)場景進(jìn)行評估，優(yōu)化業(yè)務(wù)場景，從而提升各業(yè)務(wù)線的體驗，而這一套評測機(jī)制就是 QMD。

在上一篇《設(shè)計師必備體驗評估設(shè)計指南（指標(biāo)篇）》中提到，目前 QMD 存在的兩個難點(diǎn)，分別是：問題難推動落地、評估結(jié)論信服度低。針對目前難點(diǎn)，今年我們項目組對測評體系再次升級，推出了全新的 QMD3.0。

我們將通過干貨滿滿的三篇連載文章，分別從「指標(biāo)模型」「評估機(jī)制」「組織實踐」來全方位的分享體驗評估機(jī)制的升級經(jīng)驗，歡迎大家的持續(xù)關(guān)注和探討。本篇為大家介紹：圍繞提高 QMD 主觀評價的可信度，通過信度檢驗，管控測評流程，建立人人可信賴的測評機(jī)制。

一、信服度低的原因

想要建立人人可信賴的測評機(jī)制，需要我們解決目前“結(jié)論信服低”這一難點(diǎn)。

在討論結(jié)論信服度的問題，我們需要知道 QMD 到底屬于什么類型的測評；按照測評變量的不同，我們可以講測評分類兩大類，主觀性測量和客觀性測量；舉個例子，主觀性測量類似簡答、論述題，客觀性測量類似單選、判斷題；而 QMD 是邀請專家對特定業(yè)務(wù)場景，根據(jù)特定指標(biāo)進(jìn)行量化評估，其評分會因為其評分專家的主觀判斷影響，因此我們的 QMD 就是屬于主觀性測量。

這就導(dǎo)致在評分過程中，因為評分者的知識結(jié)構(gòu)（也就是對世界的認(rèn)知、經(jīng)驗等）、判斷水平（也就是對評分標(biāo)準(zhǔn)的認(rèn)知和理解）、個人偏好（對設(shè)計風(fēng)格、操作習(xí)慣偏好等）的不同，使評分者的評分存在差異。

因此亟需通過某種技術(shù)手段，去控制測量誤差，提高主觀變量測量的精確性，而這一技術(shù)手段就是下文將要提到的評分者信度。

二、檢驗信服度的手段

1. 什么是信度

在了解評分者信度之前，我們需要知道什么是信度。信度是指測量結(jié)果的一致性程度，亦稱可靠性程度，它衡量的指標(biāo)是：對同一對象測量得到的結(jié)果是否一致。舉個例子，當(dāng)你拿桿秤去測量 10 斤的西瓜，過一個月之后，再去測量一個 10 斤的西瓜，它還是 10 斤，說明這個秤就是可信的，這就是信度；而這個西瓜是 10 斤，測量出來也是 10 斤，說明這個秤是有效的，這就是效度。

2. 什么是評分者信度

而評分者信度就是信度的一部分，其實評分者信度是若干個評分者對同一組測試結(jié)果評分的一致性程度，他關(guān)注的是不同組間評分者之間的共同差異的分析指標(biāo)，也就是說側(cè)重處理評分者組間差異的一般趨勢，主要目的是為了測量不同評分者對同一樣本是否給出同一正確的分?jǐn)?shù)指標(biāo)，因此為檢驗 QMD 中各專家評分是否一致，選擇了評分者信度作為分?jǐn)?shù)的檢驗指標(biāo)。

測量評分者信度的統(tǒng)計指標(biāo)及方法很多，那我們需要如何選擇適合 QMD 的統(tǒng)計指標(biāo)呢？在根據(jù) QMD 不同的測量特點(diǎn)、數(shù)據(jù)類型、評分人數(shù)等，我們 QMD 選擇的測量方式是組間相關(guān)系數(shù)（ICC），也就是通過方差分析來計算總體變異多大程度上屬于總體的特征。

3. 如何分析評分者信度

選定測量方法后，具體怎么執(zhí)行呢？就是萬能的 SPSS 軟件，按照：Analyze—Scale— Reliability Analysis 步驟得來，根據(jù)分析結(jié)果可以得知 ，本次分析的評分者評分信度是否一致，舉個例子，在針對某個業(yè)務(wù)線進(jìn)行QMD評估，對6位專家的評分進(jìn)行評分者信度分析，結(jié)果表明，ICC=0.9704>0.75，p<0.05,說明評分者的一致性是可信的。可見不同評分者在評價產(chǎn)品，在各項指標(biāo)上評分是比較一致的，其評分者信度是比較高的 。具體分析過程如下：

三、提高信服度的方法

1. 測評流程可靠

但是在整個過程項目執(zhí)行過程中，我們僅僅只做信度檢驗就足夠了嗎？其實不是的，分?jǐn)?shù)只是一個判斷的依據(jù)，或者說是過程的抓手，我們除了關(guān)注分?jǐn)?shù)本身以外，更需要關(guān)注，到底是哪些因素導(dǎo)致我們分?jǐn)?shù)產(chǎn)生隨機(jī)誤差，進(jìn)而在源頭上提高我們的分?jǐn)?shù)的信服度。

那影響評分者信度的因素有哪些呢？總結(jié)有以下三部分：測評工具性能、評分者篩選和實施方案的標(biāo)準(zhǔn)化流程。

在了解到這些影響因素后，在整體執(zhí)行過程中，才能針對性的進(jìn)行執(zhí)行、管控，才能最終提高結(jié)論的信服度，具體執(zhí)行過程如下圖所示：

針對測評工具性能，在整個指標(biāo)制定和選取過程中，項目組均進(jìn)行科學(xué)嚴(yán)謹(jǐn)?shù)耐评恚唧w推理過程大家可回顧上期文章《設(shè)計師必備體驗評估設(shè)計指南（指標(biāo)篇)》，為大家展示了整體測評指標(biāo)的科學(xué)合理性，此外在測評工具中不僅講究科學(xué)合理，還要求工具使用者體驗良好，對其指標(biāo)進(jìn)行解釋說明、重點(diǎn)的標(biāo)記等；

第二大模塊則是評分者篩選中，主要分為 3 部分：專家人選篩選、專家認(rèn)知對齊、內(nèi)在標(biāo)準(zhǔn)穩(wěn)定。也就是說通過一定的要求、人員配置等進(jìn)行評分者篩選，通過提前的培訓(xùn)對齊評分者認(rèn)知、以及選擇心理和生理健康良好的評分者進(jìn)行打分；

在第三大模塊則是保證實測方案的標(biāo)準(zhǔn)化，也就是在實測流程、會場環(huán)境的制定和布置過程中，按照標(biāo)準(zhǔn)化、模塊化進(jìn)行執(zhí)行。

2. 感知效果可靠

當(dāng)然，大家以為僅僅做了哪些流程管控就結(jié)束了嗎？我們想要分?jǐn)?shù)信服度高，也就是可靠性高，不僅需要流程可靠，更需要讓使用者對結(jié)果感知可靠？

① 什么是可靠性

其實可靠性是指一個人通過對一個產(chǎn)品的可感知效果與他期望值相比較后，所形成的可靠或不可靠的感覺狀態(tài)，簡單的數(shù)據(jù)表示就是用戶感知效果-內(nèi)心期望，圖片表示更清晰，但感知效果契合且高于內(nèi)心期望時，人們便產(chǎn)生了可靠的感覺狀態(tài)，低于則相反，我們難以控制其內(nèi)心期望，因此將在感知效果上下功夫。

② 如何讓可靠更易被感知

從四個環(huán)節(jié)入手，最開始明確業(yè)務(wù)預(yù)期、中間的利益相關(guān)人全程參與、結(jié)尾的結(jié)果復(fù)議，和最后的驗證落地效果，采用各類方法，讓大家從整體環(huán)節(jié)去感知可靠性。

明確業(yè)務(wù)預(yù)期

在最開始的明確業(yè)務(wù)預(yù)期中，除了從業(yè)務(wù)視角去制定與業(yè)務(wù)契合的測評體系外，更是邀請利益相關(guān)人共同制定指標(biāo)細(xì)則，從理論的基礎(chǔ)上讓大家感知更可靠。

過程全員參與

在過程中，以前僅邀請設(shè)計師參評，現(xiàn)在不僅邀請設(shè)計師，更是邀請產(chǎn)品一起參評，從流程上讓大家感知更可靠。

結(jié)果復(fù)議防錯

第三點(diǎn)結(jié)果復(fù)議，也是本次升級后 QMD 的一大亮點(diǎn)，我們建立的防錯機(jī)制，以前結(jié)果出來便出來，業(yè)務(wù)方僅能看，沒有可反饋渠道，因此本次建立的防錯機(jī)制則是建立業(yè)務(wù)方對結(jié)果復(fù)議的渠道，從機(jī)制上讓大家感知更可靠。

驗證落地效果

第四驗證落地效果，不僅關(guān)注跟進(jìn)問題改進(jìn)進(jìn)度，更是關(guān)注跟進(jìn) QMD 結(jié)論落地后為業(yè)務(wù)目標(biāo)帶來的提升，從效果上讓大家感知更可靠。

小結(jié)

在這次升級過程中，其實想表達(dá)的是，分?jǐn)?shù)本身不重要，如何通過分?jǐn)?shù)去管控過程，才是其真正的價值所在。因此，在本次升級過程中，結(jié)合使用評分者信度、流程管理和機(jī)制升級，從而從實際效果和用戶感知上全面提高可靠性。

預(yù)告一下

如果說升級可靠、高效的評估機(jī)制則是推動 QMD 評估機(jī)制的前提，那有序、科學(xué)的推動則是組織 QMD 評估的關(guān)鍵步驟，接下來由吳立杰帶來的《設(shè)計師必備體驗評估設(shè)計指南（組織篇)》，為大家介紹如何讓測評過程簡單美好。

歡迎關(guān)注「58UXD」的微信公眾號：