本篇將介紹如何有序組織體驗(yàn)評(píng)估，并將詳細(xì)講解本次 QMD 升級(jí)的要點(diǎn)、難點(diǎn)是如何落地執(zhí)行的。

上期回顧：

我們選用質(zhì)量管理工具 PDCA 來(lái)組織體驗(yàn)評(píng)估，做體驗(yàn)管理。以季度為評(píng)估周期，一個(gè)季度完成一次 PDCA 循環(huán)后，我們持續(xù)迭代評(píng)估體系，從而更好的完成下一個(gè)周期的體驗(yàn)評(píng)估。

一、策劃

策劃的主要內(nèi)容就是大家很熟悉的 5W1H 了。

1. 評(píng)估目標(biāo)-Why

如第一篇文章所述，新的體驗(yàn)評(píng)估機(jī)制，評(píng)估目標(biāo)從單一的提升體驗(yàn)質(zhì)量，調(diào)整成契合業(yè)務(wù)目標(biāo)的體驗(yàn)質(zhì)量。

參與體驗(yàn)評(píng)估，業(yè)務(wù)設(shè)計(jì)師的預(yù)期有：

1. 提升產(chǎn)品使用體驗(yàn)；
2. 提升業(yè)務(wù)核心指標(biāo)。

QMD 項(xiàng)目組需要兼顧參與評(píng)估業(yè)務(wù)的預(yù)期，目標(biāo)有：

1. 采用可靠的評(píng)估機(jī)制，度量契合業(yè)務(wù)目標(biāo)的體驗(yàn)，發(fā)掘影響業(yè)務(wù)目標(biāo)的體驗(yàn)問(wèn)題，確保評(píng)估結(jié)果可信、可靠并易感知；
2. 確保按照規(guī)劃周期性做體驗(yàn)評(píng)估、同步結(jié)論、跟進(jìn)優(yōu)化；
3. 驗(yàn)證各個(gè)參評(píng)業(yè)務(wù)的評(píng)估指標(biāo)、評(píng)估機(jī)制的可靠性。

2. 相關(guān)人員-Who

想要按照以上預(yù)期高質(zhì)量的完成體驗(yàn)評(píng)估，離不開(kāi)組織架構(gòu)的支持。58UXD 設(shè)立了由交互設(shè)計(jì)師和用研工程師組成的體驗(yàn)管理組。由體驗(yàn)管理組來(lái)組織全部業(yè)務(wù)的體驗(yàn)考核、體驗(yàn)評(píng)估、體驗(yàn)展示、體驗(yàn)跟進(jìn)等一系列橫向體驗(yàn)管理項(xiàng)目。QMD 作為體驗(yàn)管理的重要工具，由體驗(yàn)管理組中的 QMD 項(xiàng)目組來(lái)牽頭策劃完成。有同學(xué)對(duì) 58UXD 其他體驗(yàn)管理工具感興趣的話，可以在評(píng)論區(qū)留言。

明確了組織方及其職責(zé)，根據(jù)新的評(píng)估機(jī)制，還需要每個(gè)業(yè)務(wù) 6 名評(píng)估專家（2 名產(chǎn)品、2 名交互、2 名視覺(jué)）。QMD 項(xiàng)目組采取了參評(píng)業(yè)務(wù)產(chǎn)品、交互、視覺(jué)交叉互評(píng)的方式，由第二篇文章介紹的評(píng)分者信度保障結(jié)果的可靠性。

在新的體驗(yàn)評(píng)估機(jī)制下，有很多 QMD 項(xiàng)目組和業(yè)務(wù)設(shè)計(jì)師需要溝通協(xié)作的節(jié)點(diǎn)。為了高效運(yùn)行評(píng)估機(jī)制，QMD 項(xiàng)目組在各個(gè)參評(píng)業(yè)務(wù)都明確了一位 QMD 對(duì)接人。

各個(gè)角色的職責(zé)明確如下：

3. 評(píng)估業(yè)務(wù)-What

新的體驗(yàn)評(píng)估機(jī)制對(duì)參評(píng)業(yè)務(wù)也有了新的要求。出于可行性和投入產(chǎn)出比的考慮，我們根據(jù)以下 4 點(diǎn)，深入了解各個(gè)業(yè)務(wù)的情況，做出研判，最終確定了參評(píng)業(yè)務(wù)。

1. 當(dāng)前階段業(yè)務(wù)對(duì)于體驗(yàn)的重視程度如何；
2. 業(yè)務(wù)是否有明確的、可持續(xù)監(jiān)控的目標(biāo)；
3. 業(yè)務(wù)迭代的頻率如何；
4. 業(yè)務(wù)是否已達(dá)到一定用戶規(guī)模。

4. 時(shí)間規(guī)劃-When

如前所述，新的體驗(yàn)評(píng)估機(jī)制關(guān)鍵節(jié)點(diǎn)多，時(shí)間跨度長(zhǎng)，需要周密的規(guī)劃和嚴(yán)謹(jǐn)?shù)臅r(shí)間管理。

QMD 項(xiàng)目組是以季度為單位做周期性體驗(yàn)評(píng)估的，所以在季度初就會(huì)做好整個(gè)季度的規(guī)劃，并嚴(yán)格執(zhí)行。同時(shí)采用周報(bào)制來(lái)及時(shí)處理意外事件，保障項(xiàng)目準(zhǔn)時(shí)完成。

另外值得提一下評(píng)估場(chǎng)次時(shí)間的確定，除了視評(píng)估專家的時(shí)間安排外，也需要考慮線上測(cè)評(píng)的版本是否符合業(yè)務(wù)預(yù)期，晚幾天可能就到了發(fā)版時(shí)間，是否需要評(píng)估最新版，需要綜合情況和業(yè)務(wù)協(xié)商。同時(shí)也要求 QMD 項(xiàng)目組在規(guī)劃之初，就要留好類似這種情況的 buffer。

5. 評(píng)估地點(diǎn)-Where

確定好評(píng)估時(shí)間，就可以提前約會(huì)議室了。

然而我們?cè)?2022 年的 Q2 和 Q4，遇到了兩次因疫情大量同事遠(yuǎn)程辦公的情況。如此我們需要保證線上評(píng)估或者部分同學(xué)線上評(píng)估的結(jié)果可靠性。原理如第二篇文章所述，需要保障人員可靠性、認(rèn)知一致性，標(biāo)準(zhǔn)化實(shí)施方案。

6. 怎么評(píng)估-How

給到專家評(píng)估，我們需要至少準(zhǔn)備評(píng)分工具和主觀問(wèn)題反饋工具。這些都需要以評(píng)估指標(biāo)為基礎(chǔ)，我們從第一篇文章了解到指標(biāo)的制定原理后，各個(gè)業(yè)務(wù)的評(píng)估指標(biāo)具體怎么確定呢？

首先，調(diào)整基礎(chǔ)指標(biāo)：我們知道業(yè)務(wù)的評(píng)估指標(biāo)由基礎(chǔ)指標(biāo)和自定義指標(biāo)構(gòu)成的，我們?cè)谥贫ㄖ笜?biāo)前需要根據(jù)新的指標(biāo)體系需要，重新審視原有的基礎(chǔ)指標(biāo)。我們認(rèn)為一個(gè)良好的基礎(chǔ)指標(biāo)，應(yīng)該是清晰、準(zhǔn)確、普適、易懂的；我們邀請(qǐng)專家對(duì)這樣的指標(biāo)進(jìn)行評(píng)估，應(yīng)該是對(duì)體驗(yàn)設(shè)計(jì)有指導(dǎo)意義的。所以對(duì)基礎(chǔ)指標(biāo)做了如下調(diào)整：評(píng)估指標(biāo)由原來(lái)的一級(jí)指標(biāo)改為二級(jí)指標(biāo)，顆粒度更細(xì)，聚焦到具體問(wèn)題；相似指標(biāo)合并，二級(jí)指標(biāo)由 15 個(gè)合并成 10 個(gè)；增加動(dòng)效、語(yǔ)義等方面的評(píng)估；評(píng)估指引描述方式更直白、易理解；等等。

我們把基礎(chǔ)指標(biāo)給到業(yè)務(wù)，由業(yè)務(wù)設(shè)計(jì)師參考以下幾個(gè)原則制定個(gè)性化指標(biāo)體系。

1. GSM 模型（Goal- Signal- Metric）：方法在第一篇文章中；
2. 反向思考：場(chǎng)景拆解到什么程度，可以結(jié)合業(yè)務(wù)的實(shí)際需要，由希望監(jiān)控的顆粒度
3. 有跡可循：場(chǎng)景的設(shè)計(jì)目標(biāo)，需要是可量化、可監(jiān)控的，一方面可以追蹤優(yōu)化效果，另一方面可以反向驗(yàn)證指標(biāo)制定的合理性；
4. 因地制宜：評(píng)估指標(biāo)需要足夠細(xì)化、貼合業(yè)務(wù)場(chǎng)景。比如基礎(chǔ)指標(biāo)中的“品牌”指標(biāo)，在基礎(chǔ)指標(biāo)中的描述是“”，是考慮普適性的描述方式。而其在不同業(yè)務(wù)中的具體元素、形式、原則等體驗(yàn)要素都差別較大，所以需要額外說(shuō)明當(dāng)前業(yè)務(wù)的“品牌”具體需要達(dá)到什么體驗(yàn)要求。有些業(yè)務(wù)會(huì)額外提供一份品牌手冊(cè)，供專家評(píng)估參考；
5. 穩(wěn)定性：指標(biāo)體系內(nèi)的元素需要在一定時(shí)間范圍內(nèi)保持穩(wěn)定，盡量不因業(yè)務(wù)的調(diào)整而頻繁變化。

有了細(xì)化的評(píng)估指標(biāo)制定指引，我們向參評(píng)業(yè)務(wù)做了詳盡的講解，并充分探討其在各個(gè)業(yè)務(wù)的可行性。業(yè)務(wù)設(shè)計(jì)師按照要求，結(jié)合實(shí)際情況，制定了由總目標(biāo)、影響總目標(biāo)的場(chǎng)景、場(chǎng)景的評(píng)估指標(biāo)、評(píng)估指標(biāo)的詳細(xì)說(shuō)明四個(gè)部分構(gòu)成的指標(biāo)體系。而后交由 QMD 項(xiàng)目組審核，確定無(wú)誤后，由業(yè)務(wù)設(shè)計(jì)師根據(jù)模版，自行制定體驗(yàn)評(píng)估要用到的評(píng)分工具和主觀問(wèn)題反饋工具，這里我們用的分別是 58 問(wèn)卷和在線協(xié)作表格。

二、評(píng)估

1. 體驗(yàn)評(píng)估

一切準(zhǔn)備就緒后，就可以邀請(qǐng)專家來(lái)評(píng)估了。就像第二篇文章介紹的那樣，為了保障評(píng)估結(jié)果的可靠性，我們對(duì)評(píng)估工具、專家、環(huán)境等都制定了標(biāo)準(zhǔn)化方案。下圖是 QMD 項(xiàng)目組在專家評(píng)估前宣講的評(píng)估目標(biāo)、機(jī)制及評(píng)估注意事項(xiàng)。

2. 信度評(píng)估

專家評(píng)估后，我們就拿到了評(píng)分問(wèn)卷和主觀問(wèn)題記錄表的原始數(shù)據(jù)。首先最重要的一件事就是預(yù)處理評(píng)分?jǐn)?shù)據(jù)，評(píng)估信度，完成校驗(yàn)閉環(huán)。我們采用的信度可靠對(duì)照關(guān)系如下：

如果第一次信度評(píng)估可靠程度不高，則需要調(diào)整數(shù)據(jù)組，重新進(jìn)行信度評(píng)估，直至信度可靠。我們并非每一場(chǎng)體驗(yàn)評(píng)估都一帆風(fēng)順，在疫情期間遠(yuǎn)程體驗(yàn)評(píng)估時(shí)，我們就遇到了無(wú)論如何調(diào)整數(shù)據(jù)組都不能達(dá)到信度可靠的結(jié)果的情況。發(fā)現(xiàn)了這種情況，我們立即響應(yīng)，臨時(shí)邀約更多專家，快速加測(cè)了一場(chǎng)。欣慰的是，兩場(chǎng)評(píng)估結(jié)果合并后，經(jīng)過(guò)數(shù)據(jù)組調(diào)整，評(píng)分信度可靠。

3. 業(yè)務(wù)復(fù)議

通過(guò)第二篇文章我們知道，復(fù)議階段的目標(biāo)一是矯正部分理解有偏差的主觀問(wèn)題，二是讓業(yè)務(wù)盡快了解 QMD 的結(jié)論，感受到其可靠可信，快速迭代優(yōu)化問(wèn)題。所以：

1. 復(fù)議呈現(xiàn)給業(yè)務(wù)的內(nèi)容有：評(píng)分、分?jǐn)?shù)對(duì)比、對(duì)應(yīng)的主觀問(wèn)題、截圖等；
2. 需要留給業(yè)務(wù)復(fù)議的反饋空間；
3. 想要做體驗(yàn)評(píng)估的你，需要具備一定的數(shù)據(jù)分析基礎(chǔ)和表格操作技巧。

4. 輸出報(bào)告

報(bào)告是為了讓體驗(yàn)評(píng)估結(jié)論更加直觀、可信，便于查閱與傳播。我們對(duì)報(bào)告做了一些調(diào)整：

① 評(píng)分和問(wèn)題對(duì)應(yīng)展示；

② 評(píng)分間差距標(biāo)記更加清晰明了；

③ 增加 QMD 項(xiàng)目組的優(yōu)化建議。希望業(yè)務(wù)重視分?jǐn)?shù)洼地、不及競(jìng)品的指標(biāo)對(duì)應(yīng)的影響較大的主觀建議。高優(yōu)場(chǎng)景/指標(biāo)/問(wèn)題判斷標(biāo)準(zhǔn)如下，供參考：

1. 權(quán)重最高或較高；
2. 和均值比差 10%/8%/5%/3%以上；
3. 和競(jìng)品比差 10%/8%/5%/3%以上；
4. 同比/環(huán)比差 10%/8%/5%/3%以上。

三、體驗(yàn)跟進(jìn) & 項(xiàng)目復(fù)盤

前面兩篇文章介紹的體驗(yàn)評(píng)估指標(biāo)體系和評(píng)估機(jī)制，是我們通過(guò)現(xiàn)狀分析、理論分析等綜合確定的，此時(shí)我們需要校驗(yàn)兩點(diǎn)：??

一是需要校驗(yàn)根據(jù)認(rèn)知、經(jīng)驗(yàn)主觀拆解的評(píng)估指標(biāo)是否符合預(yù)期；

二是需要校驗(yàn) QMD 機(jī)制全程保障的專家評(píng)估結(jié)論是否可靠。

我們采取的校驗(yàn)方式，就是看體驗(yàn)評(píng)估的結(jié)論應(yīng)用到業(yè)務(wù)的體驗(yàn)優(yōu)化后，是否帶來(lái)如預(yù)期程度的業(yè)務(wù)指標(biāo)的提升。

所以我們?cè)趫?bào)告同步后，下一次體驗(yàn)評(píng)估前，留足業(yè)務(wù)改進(jìn)優(yōu)化的時(shí)間，組織參評(píng)業(yè)務(wù)復(fù)盤 QMD 結(jié)論落地情況。由各個(gè)業(yè)務(wù)闡述以下內(nèi)容：

1. 問(wèn)題發(fā)掘&解決：QMD 報(bào)告分析&洞察、解決思路&方案、上線效果&數(shù)據(jù)、結(jié)論；
2. 項(xiàng)目管理：優(yōu)化進(jìn)度、迭代計(jì)劃。

同時(shí)為了激勵(lì)、幫助業(yè)務(wù)設(shè)計(jì)師推動(dòng)結(jié)論落地，我們邀請(qǐng)?jiān)O(shè)計(jì)總監(jiān)、設(shè)計(jì)負(fù)責(zé)人和高階設(shè)計(jì)師從三個(gè)維度為業(yè)務(wù)復(fù)盤的內(nèi)容打分、點(diǎn)評(píng)，包括邏輯合理度、指標(biāo)結(jié)果相關(guān)度、進(jìn)度。

同時(shí) QMD 項(xiàng)目組收獲了業(yè)務(wù)設(shè)計(jì)師對(duì)于整個(gè)體驗(yàn)評(píng)估機(jī)制的一些想法，結(jié)合組織過(guò)程遇到的問(wèn)題和思考，做了周期性的復(fù)盤。

四、推廣 & 改正

通過(guò)業(yè)務(wù)復(fù)盤及評(píng)委打分、點(diǎn)評(píng)，我們了解到業(yè)務(wù)的大部分迭代效果都是正向的，小部分負(fù)向效果的迭代需要嘗試其他設(shè)計(jì)方案。所以目前沒(méi)有因?yàn)閺?fù)盤結(jié)果而要調(diào)整指標(biāo)的情況。由此印證 QMD 體驗(yàn)評(píng)估的結(jié)論是可靠的，整個(gè)體驗(yàn)評(píng)估流程也是可靠的。

如果有業(yè)務(wù)出現(xiàn)按照 QMD 的結(jié)論設(shè)計(jì)方案，驗(yàn)證發(fā)現(xiàn)預(yù)期的業(yè)務(wù)數(shù)據(jù)沒(méi)有提升或者反而下降，則需要反思指標(biāo)制定、分析、洞察、解決思路、方案是否有問(wèn)題，逐一排查關(guān)鍵環(huán)節(jié)，及時(shí)作出調(diào)整。

如開(kāi)篇所述，QMD 項(xiàng)目組也在每次體驗(yàn)評(píng)估完成后進(jìn)行復(fù)盤，持續(xù)優(yōu)化評(píng)估機(jī)制，目前整個(gè)流程已經(jīng)形成 SOP，便于高效組織每次評(píng)估，跟緊業(yè)務(wù)節(jié)奏，打好配合。

五、最后

以上詳盡介紹了我們 QMD 項(xiàng)目組，組織 58UXD 各個(gè)業(yè)務(wù)體驗(yàn)評(píng)估的過(guò)程與思考。我們認(rèn)為整個(gè)體驗(yàn)評(píng)估體系的升級(jí)和實(shí)踐，最關(guān)鍵的思考邏輯就是閉環(huán)管理，這個(gè)邏輯貫穿始終，讓所有人為因素的影響降到最低，保障過(guò)程和結(jié)果可靠可信。我們?cè)O(shè)定的閉環(huán)管理一共有以下三個(gè)方面：

1. 在策劃環(huán)節(jié)，各業(yè)務(wù)制定的指標(biāo)體系、整理的評(píng)估工具，都由 QMD 項(xiàng)目組審核，確保指標(biāo)拆解符合指引要求，評(píng)估工具準(zhǔn)確無(wú)誤；
2. 在評(píng)估環(huán)節(jié)，各個(gè)業(yè)務(wù)的專家的評(píng)分都需要評(píng)估評(píng)分者信度，確保評(píng)分可靠；
3. 在跟進(jìn)環(huán)節(jié)，通過(guò)業(yè)務(wù)復(fù)盤了解優(yōu)化效果，校驗(yàn)指標(biāo)制定的可靠性，以及整個(gè) QMD 新機(jī)制為業(yè)務(wù)體驗(yàn)設(shè)計(jì)帶來(lái)的價(jià)值。

分享不易，希望對(duì)你有所幫助。歡迎大家留言交流。

歡迎關(guān)注「58UXD」的微信公眾號(hào)：