徹底的設計改版最好使用 A/B 測試來驗證，而 MVT（多變量測試）則表示不同的 UI 元素之間是如何相互影響的，并支持對設計的漸進式改進。

在優化設計的方法中，A/B 測試受到了廣泛的關注。MVT（多變量測試）是 A/B 測試的一種替代方法，但大家對這種方法的了解并不多，通常認為這種方式太耗時不值得等待。 雖然多變量測試有其局限性，但是它的很多優點是 A/B?測試無法比擬的。

一、多變量測試（MVT）

假設你要優化一個線上的產品詳情頁，目的是大幅提升用戶將產品加入購物車的轉化率，你要考慮到以下幾個可能的變化：

• 使用產品視頻代替產品圖片；
• 將主要操作按鈕的文案從「立即購買」更改為「添加到購物車」。

多變量測試可以幫助你確定在多個設計優化方案中，哪幾個方案組合起來對于轉化率的效果最好。

首先，我們來解釋一些術語。

變量

一個存在多種設計方案的 UI 元素（如圖片或標題）。在我們的電商示例中，變量是產品的視覺展示和操作按鈕的文案。

變體

變量的各個設計版本。產品圖像和產品視頻代表了視覺展示變量的兩個變體：「添加購物車」和「立即購買」文案是操作按鈕的變體。

變化

最終設計包含每個變量的變體，以便與其他變化進行比較。在我們的例子中，將有4個設計變化，對應于變量變體的所有可能的組合：圖片×加入購物車，圖片×立即購買，視頻×加入購物車，視頻×立即購買。

定義：多變量測試（MVT）是一種設計優化方法，在用戶界面中測試多個指定變量的變體，目標是最大化提升轉化率（主要的轉化，比如完成一個訂單；或者微轉化，比如與頁面上的一個功能交互）。這種方法能確定變體的哪種組合會產生最高轉化的設計方案（就指定的轉化目標而言）。

在多變量測試中，測試了2個或多個設計元素（變量）。其中每個變量都可以有多個變體。例如，在上面的頁面中，我們可以測試2個變量：產品的視覺展示（有2種設計變量：圖片和視頻）和主要操作按鈕的文案（有2種變體：「立即購買」和「加入購物車」）。

二、多變量測試（MVT）與 A/B 測試的區別

多變量測試通常被認為是 A/B 測試的一種類型，盡管它的設置和強度有些不同。以下是他們之間的相似點和不同點：

• 這兩種方法的測試原理類似，都是通過將線上網站或應用程序中的流量，拆分并引導到有差異的頁面來測試其中的不同。
• 針對某個具體的設計目標，兩種方法都可以用來衡量哪種設計方案（即，變化）可以產生最高轉化率。
• 在 A/B 測試中，被測方案可能不會僅僅是一些小的細節變化，而是完全不同的兩種方案對比。例如，你可以有兩個布局完全不同的頁面、不同的副本、不同的導航、不同的視覺設計等等。A/B測試的結果將表明，一個變化的性能優于另一個，但是你不知道這是因為你的副本更好，視覺設計更好，還是布局更好（或者整體效果更好）。

相反，如果使用多變量測試，你可能總會將功勞歸于一個特定變體或變體組合。 因此，舉例來說，你可能會發現，產品視頻在轉化過程中所產生的影響要比更改操作按鈕文案的效果要好得多，這會為你提供進一步的策略和設計見解（例如，它可能會告訴你投資優秀產品視頻制作是值得的）。

三、多變量測試（MVT）測量元素之間的相互作用

讓我們回到一開始的電商示例。你可能想知道，兩個連續的 A/B 測試是否會產生與多變量測試相同的結果。具體來說，我們假設你先運行 A/B 測試來比較視頻與圖片，假設視頻獲勝。接下來，在獲勝的變更（即視頻）上，你可以在兩個可能的按鈕文案之間運行另一個 A/B 測試，并且證明「立即購買」的文案更好。難道這個結果不等同于多變量測試嗎？

答案是：不一定。因為可能是這樣一種情況，最佳組合可能是：圖片×立即購買，但是你并不會測試該版本。

使用多變量測試（而不是 A/B 測試）的主要優點是：能夠確定頁面上的各種元素之間是如何交互的。只有通過測試各種變體的每一個組合，你不僅可以發現視覺 A 的性能優于視覺 B，而且 C 按鈕的性能優于按鈕 D，而且你還可以發現這些變體的最佳組合。

四、多變量測試（MVT）的局限性

每種變化組合產生的變體會像兔子一樣繁殖。即使在非常簡單的電商示例中也有4種設計變化可供比較，它們對應兩個2個變量之間的所有可能的組合。為操作變量（例如，購買）添加另外1個變體可能會產生另外2個變化 ，這2個變化是通過將此變體與直觀表示變量的2個變體組合而生成的。 （一般來說，變化的數量是將每個變量的變體數量相乘而獲得的，所以，如果你有2個變量，這兩個變量有3個變體，則會得到2×3=6個變化。）

有2個變量，每個變量都有2個變體，在多變量測試中就會有4個用以表示這些變體的所有可能組合的設計變化。

1. 在多變量測試中，需要測試的大量變化導致了該方法的最大局限性

與 A/B 測試相比，運行多變量測試通常需要更多的流量，才能達到統計意義。這是因為添加到比較中的每個變化都會導致實時流量被分成更小的部分，因此，為每個設計選項收集足夠的數據點也需要很長的時間。（然而，請記住，運行測試所需的時間不僅取決于總體流量，而且還取決于實驗目標轉化率的預期變化，因為更大的改進比微小的差別更容易衡量。）通常，在更多的變化中分割實時流量會導致測試時間過長。

2. MVT（多變量測試）的另一個限制是，所有變體的組合必須在一起才有意義

例如，在頁面上測試一張圖片和一個標題的變體時，請勿寫出涉及圖片變體細節的標題（例如「美妙的溫泉度假」與「美妙的海灘度假」以及相應的照片）， 因為每個標題都會在一個變更中同每張圖片進行測試。 這種類型的實驗最好設置為 A/B 測試，這樣可以更好地控制組合。

使用多變量測試來優化設計，而不是完全改變它。

多變量測試是對設計進行漸進式改進的好方法，而不是對設計進行大規模重新設計的好方法。 因為它要求你識別頁面上某些感興趣的元素，以測試該變量的多個變體，所以你無法輕易地比較各種變化中的根本變化。

對于主要的設計優化，要在原始版本和提議的新版本之間運行 A/B 測試以找出哪個更好。然后，使用多變量測試來優化獲勝設計的各種元素，始終保持迭代！

五、啟示

如果你的目標是進行實質性的重新設計（比如重新設計主要的布局），那么使用 A/B 測試來比較這個新設計和當前的設計，會比 MVT （多變量測試）更合適。一旦發現性能更高的設計，就可以使用多變量測試來進一步優化獲勝布局中的特定元素。

歡迎關注譯者微信公眾號：「熊貓設計院」

原文地址：《Multivariate vs. A/B Testing: Incremental vs. Radical Changes》?Aurora Harley

「優化設計的用研方法」

• 《想驗證你的設計？最簡單最實用的A/B測試幫你搞定》
• 《用研丨超全面的移動電商A/B測試入門指南》
• 《比A/B Test更高效！交互設計中的設計方案記分對比法》

================明星欄目推薦================

優優教程網： UiiiUiii.com 是優設旗下優質中文教程網站，分享了大量PS、AE、AI、C4D等中文教程，為零基礎設計愛好者也準備了貼心的知識樹專欄。開啟免費自學新篇章，按照我們的專欄一步步學習，一定可以迅速上手并制作出酷炫的視覺效果。

設計導航：國內人氣最高的設計網址導航，設計師必備： http://hao.uisdc.com