編者按:從 KPI 到 北極星指標,設計和產品團隊都非常著迷這種殺手級關鍵性指標。但是沉迷這種單一指標可能會帶來負面的影響,這就是 NNGroup 的這篇文章 要探討的「坎貝爾定律」:
前言:當犧牲其他指標來作為代價來優化某一指標的時候,就可能存在面臨這一指標劣化的風險。就像 Facebook 的丑聞所呈現出來結果那樣,最終的結果可能是同時辜負了他們的用戶和原本的商業目標。
在科技和商業領域當中,最經常被錯誤引用的一句話就是「如果你無法衡量,就無法管理」。類似這樣的表達方式,通常意味著如果你需要改進某個產品、某個功能,就需要制定一個精確的度量來捕捉和跟蹤,讓我們確定改進的效果。
實際上我們經常做這樣的事情,比如用單一KPI來衡量某個產品的成功與失敗,用某個參數來作為核心指標等等。
有趣的地方在于,這句話的引用其實和原文的含義是完全相反的:
「假定一件事物無法度量就無法被管理,這種想法是錯誤的,實際上它更像是一個代價高昂的迷思。」—— W. Edwards Deming (The New Economics).
原始的版本和我們經常聽到的說法之間差異,實際上反映出了一件事情:依賴單一指標來評估某項業務是極為危險的,因為存在一種或者多種操控這一指標的方式,而這些方式可以和原本度量毫無關聯。而這正是「坎貝爾定律」所描述的現象。
坎貝爾定律:如果一種指標在制定決策的時候越重要,就越可能被操縱。
用更加通俗的方式來描述坎貝爾定律就是,當使用單一指標來決定某個事物的成敗的時候,人們可能會嘗試優化自己的行為來貼近或者「塑造」這一指標,而這種試圖「貼合結果」的方式,最終會帶來荒謬和危險的結果。這種行為可以說是在「管理指標」(更通俗的說法是「制造數據」),而不是真正解決潛在的問題。
一個經典的案例其實就是「應試教育」——參加過任何標準化考試的人應該都清楚這件事情,而針對 SAT 或者 GRE 這類標準化考試的批評者一般也是拿這個來說事兒——這類考試無法衡量知識和潛力,更多的是衡量個人為考試而學習的能力。
而在法律領域,同樣有類似的定律,古德哈特定律——「當某項措施本身成為目標的時候,它就不再是一個好的措施」。而有意思的是,無論是坎貝爾定律還是古德哈特定律,都出自于社會科學領域的研究者,他們能夠提出這兩個定律,很大程度上,是當大家面對復雜行為的時候使用單一指標來替代全面細致的權衡剖析這一情況的沮喪。
在我們日常生活和工作中,能夠找到大量關聯到坎貝爾定律的「反向激勵」的案例。
醫療和保健行業通常對于各項指標非常的著迷,有時候甚至會達到荒謬乃至于有害的程度。接下來要說的,是一個在醫療機構工作的護士所分享的案例。
這個醫療保健機構有一項績效衡量指標,是患者在接聽電話的時候必須等待多長時間。這一機構的員工被推動改進這一指標,試圖盡量減少患者等候的時長,從這一出發點來看,這個指標和目標是合理的,對不對?
其實,患者長時間等待,主要的原因是接線員需要時間來溝通和聯系患者對應的醫生活在護士,并且在連接上之后,接通他們,而當接線員將線路切換到醫生線路的時候,患者的電話會切換進入「等候狀態」。而有一位經理發現,如果接線員在接通電話,獲得患者需求的時候,不讓電話切入「等候狀態」,而是單純的靜音處理,然后讓接線員直接去對應的科室去找到醫生,那么在技術上,這個「等候狀態」時長指標直接就為0了。
實際上,這位經理因為這一指標的「優化」二獲得了大量的獎金,很多同事都會向他請教如何改善這一指標的。
然而實際上,他的這種處理機制對于用戶體驗而言,基本上是 0 優化,毫無提升,甚至有可能因為需要接線員親自去接洽導致患者實際的等候時長比計劃中更長。
如果你使用過諸如 Airbnb、Uber 這類服務,那么你很有可能會在這個過程中感受到坎貝爾定律的力量。這類服務通常會使用 5 星評分制,用來評估用戶的滿意度,如果司機或者房東的評分低于某一閾值,可能就會被關閉繼續運營的權限。因此,通常而言司機和房東都會盡量提高高質量的服務,但是與此同時,他們還會以各種方式來盡力請求/要求客戶來他們打滿分來操縱這一指標。
比如我的同事最近使用了 Airbnb 的服務,在結束后收到房東的細心你:
「如果你喜歡這套工具并且愿意留下 5 星評價,那么這對我將會有極大的幫助。Airbnb 實際上有權限刪除評分低于 4.4 星的房源,因此每一次 5 星評價對我而言都會有極大的幫助,能夠讓我更好地服務于同您一樣的優質住戶。」
通過這種解釋,房東以一種相對柔和的方式向我的同事施壓,要求她給出五星好評,而不是誠實的評價。
這種基于情感上的評分挾持在很多不同的國家和文化中都會發生。最典型的一個案例是中國的熱門購物平臺上,用戶經常會「被迫」提供高分評價。許多淘寶商家會要求客戶提供五星好評,其中最常見的方式是提供好評優惠券和好評返現,甚至還催生了專門騷擾差評用戶的服務,同樣也誕生了專職的「差評師」。
雖然坎貝爾定律影響了很多行業,但是在數字設計領域顯得尤其「邪惡」。
下面的故事是由一名產品設計師所分享的。由于她想匿名,所以以下將會使用化名 Keily。Keily 供職于一家目前地位領先的一家流媒體服務供應商,她分管的業務為訂閱服務。盡管這家公司提供的服務頗為現代,但是該公司的企業文化和舊有的有線電視臺非常接近,這一點主要體現在他們的業務指標上。
這家公司非常關注用戶的留存率——訂閱者訂閱的時間越長,這家公司所賺取的利潤就越高。因此,這家公司的領導層認為減少用戶取消訂閱的比例,能夠保持利潤增長。
Keily 注意到一些奇怪的設計,當用戶打算取消流媒體服務甚至注銷賬戶的時候,這個帳號就會進入一種名為「Saving」(留存)的狀態,在這種情況下,用戶并不會徹底注銷帳號。這種設計的方式,旨在讓用戶停下來,三思之后再做決策。原本想借助這個指標來細分和判斷用戶的特征和屬性,但是它在實際應用過程中產生了令人意想不到的后果——它促使公司的設計師讓注銷帳號的過程變的極其不友好甚至非常困難。
在進行用戶測試的是,Keily 注意到用戶在嘗試取消服務和注銷帳號的時候,時常會進入不知所措的狀態,隨后放棄注銷甚至會因為麻煩干脆連取消服務都放棄了。而這些帳號隨后就被劃分到了「Saving」這個分類當中。然而實際上,這些帳號最終也沒有留存下來,因為用戶嫌線上注銷太麻煩了,直接打電話給公司來注銷帳號。
最后,這個看起來不錯的「設計」是以鬧劇收場的:
因為這一惱人功能而生氣的用戶,絕對不會向其他的任何朋友推薦這家公司的服務了
對公司而言,成本更高了。因為用戶不再在線注銷帳號,導致電話服務這邊更加忙碌,成本了相應的服務成本和支出。
用戶仍然注銷了賬戶,那些所謂的留存帳號也沒有留存下來。
Keily 試圖將這一問題反饋給公司的高層,她爭辯說只有公司試圖站在用戶的角度來解決用戶的問題,用戶才能真心實意地認可公司,相反使用提高注銷成本的方式來降低取消訂閱率,用戶只會更加討厭這家公司。領導層不想聽她的說法,所以 Keily 直接辭職了,并且前往一家用戶體驗設計上更加成熟穩妥的公司工作。
Facebook 對于如何增加產品的參與度有著相當程度的癡迷。當然 Facebook 這個案例這也是近年來最值得研究的案例之一。
正如同 Frances Haugen 在報答中所寫的那樣,Facebook 的企業文化非常重視激勵用戶提升中在 Facebook 平臺上的參與感,根據 Haugen 的說法他們是「基于這一指標來作出決策」。公司的領導層將日活躍用戶量(DAU)置于倫理和道德的優先級之上。
根據他的說法,Facebook 的領導層喜歡使用算法來增加 DAU,即使有證據表明這樣的做法對于用戶上有害的,Haugen 指責 Facebook 以用戶本身的身心狀況惡化為代價來提升 DAU:
- 培養用戶成癮性的習慣行為
- 導致青少年飲食失調
- 增加極端政治性的內容
- 傳播謠言
盡管 Facebook 并沒有真正偽造或者操作 DAU 指標,但是不惜一切代價地為了維持指標,而摒棄原有的意圖,哪怕以犧牲用戶和公司本身的健康為代價。即使 DAU 的數據并沒有偽造,但是背后的邏輯和狀況都是完全契合坎貝爾定律的——癡迷于指標以至于扭曲抵達目標的手段和方式,在這種情況下,它直接犧牲了用戶體驗和長期價值。
Facebook 是一個極端的案例,由于它的受眾規模極大,當公司出現這種癡迷指標犧牲體驗的時候,帶來的后果和影響是極為可怕的。但是這是整個設計領域和科技行業當中普遍的存在,類似的情況比比皆是。雖然絕大多數的公司和產品并不會遭受 Facebook 這種規模的道德責難,但是這種廣泛存在的問題依然會帶來災難性的結果。
UX 行業從業者總會不可避免地面臨這個問題。那么要怎么規避單一指標癡迷所潛藏的危險呢?
首先,要認識到一件事情,任何一個指標,在全面而準確地描述整個世界的能力上,都是極為有限的。你所關注的每一個指標,都反映了你認為重要的事物。
你所選擇的指標就是你所尋求的目標和結果的信號,它們并不能反映整個全貌。不能因為指標本身可以量化就認為數據一定是準確沒有偏差的,因為數據的搜集過程哪里都可能出現問題。
之前一直流行的「北極星指標」就是典型,它放大了單個指標的影響力,同樣也放大了單個指標的危險,給整個產品甚至公司帶來潛在風險。
其次,將多個指標整合到一起,更加全面地對你的產品、服務進行評估。滿意度評級可能是一個有用的指標,但是如果能夠將它同行為指標(比如任務時長、成功率等)或者其他的分析指標結合起來使用,能夠更加準確地判斷。想玩弄扭曲一個指標有時候不復雜,但是想要修改全部指標就很難了。
第三,永遠不要僅僅依靠單一指標來進行決策。確定定性指標需要進行多方驗證,比如使用用戶訪談、可用性測試、實地測量和日記研究等方式共同決策,這可以幫助你了解設計決策的細微差別,否則,如果你僅僅依靠被動搜集的分析數據,可能會錯過很多關鍵的信息。
最后,將數據視作為輔助決策的工具,不要讓單一數據成為決策的唯一依據。不要為了樹木失去森里,密切關注真正重要的是事情——長期積極的用戶關系,幫助用戶增加價值,不去損害用戶的生活,讓產品成為用戶真正的幫手。
定量指標對于設計而言確實是非常重要的。但是犧牲一些其他指標來有意識「優化」單一指標,可能會讓業務和用戶雙雙受到影響。以上的案例都證明了將短期利益置于長期用戶關系之上帶來的負面影響。
復制本文鏈接 文章為作者獨立觀點不代表優設網立場,未經允許不得轉載。
發評論!每天贏獎品
點擊 登錄 后,在評論區留言,系統會隨機派送獎品
2012年成立至今,是國內備受歡迎的設計師平臺,提供獎品贊助 聯系我們
標志設計標準教程
已累計誕生 729 位幸運星
發表評論 為下方 3 條評論點贊,解鎖好運彩蛋
↓ 下方為您推薦了一些精彩有趣的文章熱評 ↓