文/菲力普
非常幸運地，今年有機會參加西南偏南（South by Southwest, SXSW）——一個以音樂慶典、互動媒體及電影為主題，聞名世界的大型盛會。我參加的是互動媒體（Interactive）的活動，主題包含：設計、程式開發、智慧未來、科技產業、品牌行銷、政府、健康、風格及工作場所等九項，演講（sessions）舉辦的時間大致從每天的 9:30 AM 到 6:00 PM，玲瑯滿目、五花八門，舉辦地點還座落在整個市中心的幾十個地方，簡直要逼瘋有選擇困難的人。總之，我大致上都參加「設計」主題相關的演講；而最令我印象深刻的，是「排隊排到昏天黑地仍不得其門而入因為主講人好心加場才聽到」的 Design like a Scientist: A/B Testing UX at Netflix。
A/B Testing 是種瞭解使用者行為的常見方法，我們團隊的 Joyce 也在部落格上分享過 A/B Testing 的三大心法，故本文將摘錄 SXSW 活動中，Netflix 的 Navin Iyengar, Product Designer 在 A/B Testing UX 上的分享重點。
如同科學家般設計
為什麼演講標題說「如同科學家般設計」？首先，科學是什麼？科學是種系統性、可靠的資訊；之所以說系統性、可靠，是因為研究時經歷過：假設、實驗、結論等步驟，不斷驗證。而設計上常見的研究法，比方：調查法、深度訪談、觀察數據趨勢或 A/B Testing 等等，也多半可以用科學的研究步驟來進行。A/B Testing 就像是讓使用者透過行為來說話，用行為表示出他們對於這個產品／服務／設計喜歡與否。
A/B Testing 上，我們通常會有實驗組與控制組（也稱對照組）；控制組是原先的版本，實驗組是你想嘗試的改變，這個改變就是你的「假設」。有了假設，根據假設設計「實驗」、收集資料；然後我們會開始解釋這些資料，越合理越好。這些解釋到最後會有個「結論」，決定這個假設是否為我們希望的結果。整個流程不斷重複驗證，就是一系列的實驗，最終能導向更具說服力的設計。
Netflix 的 A/B Testing 四步驟
Navin Iyengar 分享 Netflix 做 A/B Testing 的四步驟，以下列出並分點說明：
- 在投入資源前先測試
- 數據是你的指南針
- 往極端設計
- 觀察人們所為，而非他們所說
1. 在投入資源前先測試
Navin Iyengar 提到：「⋯⋯設計要能影響人，必須要先被執行、建立，然後推到全世界；所以不只是你說了算，還要測試、證明這些想法值得建立。當你有個想法，要去想說：核心是什麼？然後你怎麼測試？」
六年前的 Netflix 首頁並不漂亮；後來在 2014 年設計了新首頁並置換，但也只換了這頁。數據上顯示流量變高，使用者的停留時間變長，於是團隊就決定將全站的頁面都更換。
反思：該如何測試你的想法？
2. 數據是你的指南針
有了核心想法，也就是你的假設後，要找出可以幫你判斷出假設是對或錯的數據。假設目標是「增加人們的滿意度」，人們總共在 app 上花的時間、人們多常造訪、他們採取多少行動……這些都是判斷滿意度增加與否的有效方法；但參考什麼數據，決定了後續的設計方向是什麼。
Netflix 推出新劇的頁面，就根據使用者的身份而關注不同數據，最後導向不同設計。會員不容易因為一個頁面改變而取消訂閱；所以會員看到的新劇頁面充滿了該劇資訊，即使不想看也有其他影片可選。至於對非會員，獲取 （acquisition）數據就更重要，會希望他們免費體驗，然後轉成付費會員；所以非會員只會看到新劇，希望他們有興趣就趕快註冊。
反思：什麼是你已掌握的數據？
3. 往極端設計
你有了假設，有了數據，要進行最有趣的部分了：設計變因！一旦要測試，把變因設計得越極端越好，因為這樣可以幫助你探索所有可能的問題。Netflix 在 2014 開始設想：如果未來 Netflix 要更往串流走，人們在筆電上該看到什麼？不過這概念還太抽象、高層次，於是他們劃了個直角座標系來幫助思考。
X 軸上的兩端是主動與被動，Y 軸上的兩端是劃一與區別。主動是指可以看到很多內容擠在一起，讓使用者擁有很多選擇；被動則是指內容沒有太多選擇，直接推送使用者可能喜歡的幾項。劃一是指畫面上呈現的每個選項都在差不多的層級；區別是指有些選項更為顯而易見、更為推薦，選項呈現不同層級。
總之，他們在這種極端探索的思考模式下，摸索出最終的設計方向，才進入 A/B Testing。
反思：哪些是你可做到的極端？
4. 觀察人們所為，而非他們所說
Netflix 做的某次問卷中，某題問到：在 Netflix 上註冊前，你最想要知道更多的一件事是什麼？（What one thing would you like to know more about before signing up for Netflix?）結果有 46% 的人選了「所有可看的電影與電視劇」（All movies & TV shows available）。於是他們開始做 A/B Testing，原版為控制組，新版 prototype（有各種電影電視劇資訊的）為實驗組。
實驗組輸了整整五輪。
雖然大家說他們要的是內容，但其實太多內容使人分心；真正說服非會員去註冊的不是滿滿的內容，而是免費試用時的體驗。你可以在試用時體會到：上面內容有哪些、隨時收看的感覺、在不同平台收看的感覺、體驗串流有多快……等等。
反思：你觀察到哪些行為？
Q & A
兩則有意思的 Q & A 分享如下：
Q: 這麼頻繁地做測試，是否會影響到你們現有的會員？
A: 我們專注在測試新會員，因為他們比較不清楚這服務是在幹嘛的，所以比較不會影響現有的會員。
Q: 要多久才知道這次的測試是否失敗？（譯註：失敗指的是不符合原先的假設）
A: 我們的會員訂閱是以月為單位，所以測試至少要等一個月再決定。
其實這場演講我差點聽不到。Netflix 的 A/B Testing 實作實在太有名，原先的早場我早到了 38 分鐘排進隊伍，都排到快進門了說客滿下次請早；還好真的有下次。設計主題的演講很常爆滿，早點排隊是上策，也要記得排一些備案，否則就會跟我一樣各種向隅，排不進想參加的演講整整三次。感謝所有把文章看到這裡的朋友，為了感謝您看到這裡，下次再分享一篇 SXSW 大雜燴感想作為感恩回饋，如果還有下次的話。（逃～）
本文授權來源：UX 實驗室〈西南偏南 SXSW 直擊：Netflix 的 A/B Testing〉
