大家好，這里是 TCC 翻譯情報局，我是李澤慧。設計是為了解決某個問題而做的，當我們通過設計嘗試解決問題、改善用戶體驗以后，你無法確認你的方案是否能解決用戶問題，“我的設計真的好嗎？真的有效嗎？”所以為了得到答案，你需要找人測試一遍，我們將這個過程稱為「可用性測試」，可以說“可用性測試”是交互設計中進行設計驗證的必不可少的環(huán)節(jié)。這篇文章是作者一個月的課程總結，對可用性測試做了很全面的介紹，值得一讀～

用戶參與設計評估是密歇根大學最近推出的課程，這門課屬于他們最近推出的用戶體驗（UX）設計研究課程的內容，展現了以形成性測驗 [1]（Formative testing）為重點的用戶測試方法。

（形成性測驗：亦稱 “形成性評量”，與 “總結性測驗” 相對。教學和學習過程中，用于了解學生掌握教學內容情況及教學中存在的問題的測驗。一般在學完一個單元或一個章節(jié)時進行。）

盡管我強烈推薦這門課程，但說實話，我發(fā)現這門課程沒有遵循邏輯順序，使人很難跟上進度。我希望這個總結能幫助更多人更好地學習這門課程。

用戶測試的類型

1. 總結性測試

• 目標：證明論點或回應假設，例如：“在 x 測試中方案 A 是否優(yōu)于方案 B？”（方案 A 和方案 B 的差異通常很小，僅在設計方面有所不同）
• 測試：需要對照實驗，并且結果應該是可衡量的（例如：A / B 測試）
• 要求：10 到 20+ 個用戶
• 定量方法

2. 形成性測驗

• 目標：要修復特定問題，并找出導致問題發(fā)生的某個設計部分
• 測試是目標導向的
• 關注用戶的語言、行為和困擾。
• 定性方法

你需要招募哪些人？

一般來說，可用性測試的目的是，觀察用戶組 X（具有相似特征、行為或態(tài)度的用戶）是否可以使用系統(tǒng) Y 來執(zhí)行活動 Z。所以，你必須非常清楚你的用戶是誰，并對他們在測試中的表現感興趣。

在開始招募用戶進行用戶測試之前，應該考慮以下特征：專業(yè)知識、行為、特征、態(tài)度。

• 專業(yè)知識 -- 用戶對通用計算機或數字產品的專業(yè)程度。
• 行為 -- 用戶對被測產品的體驗水平。
• 特征 -- 用戶背景（例如，如果你正在測試一款健康應用程序，你不能期望患者與醫(yī)生有著相同的知識水平）。
• 態(tài)度 -- 數字產品的某些特性可能會觸動用戶，因此應該預先研究他們對某些問題（如隱私問題）的意見。

設計任務

給參與者布置任務，目的是讓他們試著使用數字產品來實現一些目標。所以問問自己，這個測試的目的是什么？我們首先要從這個測試中發(fā)現什么？

這將從問題陳述開始，包括用戶組 、數字項目及其提供的活動，例如：

有經驗的網購者可以使用 eBay 尋找和購買裝飾品嗎？

• 用戶群：有經驗的網購者
• 系統(tǒng)：eBay
• 活動： 購買裝飾品

在確定用戶群和活動之后，就可以開始集思廣益，討論用戶將在該活動范圍內執(zhí)行的特定操作。

1. 導向性良好的任務特征

總之，一項任務應具有以下特征：

• 與測試目標相關
• 實事求是，可驗證
• 不應附加說明

完善任務，不要陷入只提及任務最終結果的陷阱 。例如，想象一個任務為“買一本新書”，首先問“用戶為什么要買那本書？”，其背后的原因包含了購買目的， “用戶想通過一本書來學習如何烹飪”。

2. 用戶任務設置示例

目的：觀察初次嘗試在線學習的用戶是否能高效地通過 FutureLearn 訪問課程內容

主要任務：嘗試尋找一門可參加的與用戶體驗相關的課程。這門課必須沒有先決條件，并且在初-中級水平。這門課每周需學習 3 小時，只上 6 周，并且最好可以盡快開始上課。

任務集

• 任務 1： 在 FutureLearn 中創(chuàng)建帳戶。
• 任務 2： 查找與 IT 和計算機科學相關的課程列表。
• 任務 3： 選擇一門沒有任何先決條件的課程，最好現在就可以開始上課，每周 2 小時就可以完成，而且只持續(xù) 2 周。
• 任務 4： 檢查你的課程是否已成功添加到你的帳戶/個人資料中。
• 任務 5： 找到一個課程時長不超過 2 周，價格低于 800 歐元的研究生課程。

問卷和訪談

1. 測試前問卷

在這個階段，你將了解參與者們的多樣性維度，你只需詢問并分析相關內容。這些信息有助于解釋你在任務執(zhí)行過程中看到的東西。如果研究人員認為用戶之間的差異不會影響測試結果，那么也可以跳過這一步。

2. 測試后問卷

在參與者完成任務后使用的測試問卷中，要避免自由發(fā)揮的回答 。例如，使用數字表示對問題的同意程度， “學會使用這個系統(tǒng)很容易：非常不同意——非常同意”。

可衡量的反應

• 感知可用性：“你覺得這個系統(tǒng)的可用性如何？”
• 感知有用性：“你認為這個系統(tǒng)對你實際需要做的事情有多大用處？”
• 偏好或希望的方面：“你覺得這個系統(tǒng)在視覺上的吸引力如何？相較于競品，更喜歡哪個？”

3. 測試前訪談

用測前訪談代替問卷，以口頭形式得到可量化的問題。這有利于建立融洽的關系，并獲得更多細節(jié)，但是它可能需要更長的時間。

例如，“如果我想知道我的參與者們進行了多少次在線購買，從而根據他們在網購方面的專長來描述他們，那么我可以直接提問，在過去一個月里，你大概網購了幾次？”

4. 測試后訪談

你可以采用 “先標記后訪談” 的方式，訪談內容大概包括：

• 任務跟進情況
• 用戶所陷入的困境
• 錯誤的跳轉
• 用戶出錯的地方（包括用戶沒有注意到的出錯點）
• 用戶提出的問題
• 復現任務并指出用戶在任務中遇到的問題

常見問題

• 你認為這個系統(tǒng)在哪些方面做得好？
• 你認為這個系統(tǒng)最需要改進的地方是哪里？
• 你會用這個系統(tǒng)做什么呢？（感知有用性）
• 你認為這個系統(tǒng)對誰最有價值？
• 如果你必須向別人解釋系統(tǒng)的功能，你會怎么說？
• 他們真的了解這個系統(tǒng)要做什么，以及它應該做什么嗎？
• 你是否使用過與此類似的系統(tǒng)，你如何比較它們？

總之，“為什么” 應該是訪談時要問的核心問題 。

5. 可能出現的問題

注意需求特征（參與者傾向于給你想要的東西）、默認偏差（更傾向于給予積極反饋）和確認偏差（選擇性地拒絕否認我們相信的東西）。不要期望每個人都給你正確的答案。

如何解決

• 需求特征和默認偏差：要求參與者給出真實反饋，注意其不自然的回答，并說明測試的目的。
• 確認偏差： 通過無偏差的第三方進行測試，不要對測試結果表現出興趣。

進行可用性測試

• 選擇一組有代表性的任務
• 試運行測試：自己進行測試，找到成功執(zhí)行任務的方式，以及難易程度。
• 清除狀態(tài)：如果需要，清除以往參與者數據（重置系統(tǒng)，清除緩存、搜索歷史記錄、系統(tǒng)中的用戶歷史記錄）
• 由簡至繁地安排任務

平均時間：30-45 分鐘完成所有任務

1. 主持人應該怎么做

首先介紹一下你自己和其他參與者 。重要的是通過與參與者建立信任關系來確定基調。展示他們的價值以保持參與熱情，并在用戶測試中明確你的目標。向大家展示你的角色，包括你將如何推進評估和觀察，并告訴大家誠實的反饋是至關重要的。鑒于參與者的角色是自愿幫助你評估系統(tǒng)，確保他們明白自己不是實驗品，他們有權利隨時喊停，而不是被迫回答所有的問題。如果可能的話，給參與者一個獎勵并說 “謝謝你的寶貴時間”。另外，不要通過給出指令來引導用戶完成任務，Newman（2020）建議提前說明以下幾句話：

“我希望你試著去完成這項任務。如果你陷入困境，真的需要幫助的話，我隨時都在。但我真心希望你能夠盡你最大的能力來完成這件事，之后我們會討論你遇到的問題。”

2. 參與者應該怎么做

參與者應該大聲說出他們在想什么和想到什么，例如：

• 他們在找什么
• 大聲朗讀文本
• 推測系統(tǒng)的工作方式
• 他們如何理解自己在做什么
• 解釋系統(tǒng)反饋
• 解釋和論證他們的決定
• 他們感覺怎么樣

你可能會問，為什么要這樣？因為這樣你可以聽到他們在思考任務，知道他們注意到什么，聽到他們如何解釋他們的選擇。

知情同意

如果需要，可以要求參與者簽署知情同意書，以下是示例：

密歇根大學的知情同意書示例（紐曼，2020）

3. 如何調節(jié)

• 測試前要做好應對問題的準備
• 選擇一個安靜私密的地方
• 錄制測試會話（錄制視頻和音頻，方便之后分析所有內容）
• 使用記錄表來跟蹤記錄器的進程

日志記錄表能夠使任務分析井然有序，并在測試期間只關注相關報告：

字體：（密歇根大學，2020）

收集統(tǒng)計數據并分析結果

回到目標陳述， “用戶 X 是否可以使用系統(tǒng) Y 來執(zhí)行活動 Z ”，你需要：

• 收集以下統(tǒng)計數據： 任務成功 / 失敗次數；出現的錯誤；計時
• 審查關鍵事件： 故障發(fā)生在哪里？為什么會這樣？
• 解釋匯報答復

“任務的成功非二元結果”（密歇根大學，2020 年）

在用戶測試結束時， 你應該收集：

• 5 - 7 次 測試會話
• 大約 25 到 50 個用戶測試任務
• 10 小時視頻
• 一堆記錄表
• 5 - 14 份問卷

1. 識別嚴重問題（關鍵發(fā)現）

在最后的報告中，應該強調最嚴重的問題，或者說是關鍵的調查結果。要做到這一點，首先要：

• 描述問題：“在什么屏幕或頁面，或在什么交互過程中出現問題？是否有特殊情況發(fā)生，發(fā)生頻率如何？”
• 提供證據： 指出造成問題的關鍵事件（例如：任務失敗、延長時間）。
• 通過提供建議或額外研究來找到解決問題的行動方案 ：找到其他數字產品的合適案例、設計原則或啟發(fā)，以及適用于該情況的可用性實踐的一般原則。了解如何解決這個問題，以及是否需要額外的研究。

對于不太嚴重的問題：

• 問題描述以及嚴重程度量表
• 提供附錄

2. 解釋產出

總結你的結果，回顧事件，并注意模式。為什么會出現問題？違反了什么可用性原則？有沒有根本原因？

3. 報告

• 形式由受眾和目的決定
• 如果是個人項目：列出優(yōu)先順序就足夠了。但如果您是與團隊合作，報告應列出關鍵發(fā)現、次級問題清單以及證據 。
• 如果是針對外部利益相關者：聚焦于一份正式的報告，強調完成任務的方法和過程 ，這樣他們就可以理解結果是如何得出的。

“如果除了你自己之外沒有人理解你的發(fā)現，那么不會有人從你的辛勤工作中受益。”
—— Newman，2020

4. 知情同意書

感謝您參加今天的研究。

本次研究的目的是____________。在今天的研究期間，我將要求您使用我們正在評估的系統(tǒng)來執(zhí)行一些任務，并將詢問您一些關于體驗方面的問題。為了幫助我們進行分析，我將對今天的測試過程進行錄音、錄像。這些數據只會由我們的研究小組、產品 / 設計團隊的成員查看，無論您的身份是什么，所有關于您的信息都將保密。您參與本次可用性研究是自愿的，您可以隨時反悔并停止參與本次研究。您也可以拒絕執(zhí)行特定任務或回答特定問題。本人知曉此同意書書中所寫內容，并同意參與研究。此前，我們已經討論了參與者和研究人員在進行用戶測試時可能帶來的一些偏差。

歡迎關注作者微信公眾號：「TCC翻譯情報局」