• Home
  • 設計
  • 研究
  • 產業
  • 團隊
  • 教育
  • VIDE 徵求作者
Facebook Twitter Instagram
RSS Facebook Twitter
Vide
  • Home
  • 設計
  • 研究
  • 產業
  • 團隊
  • 教育
  • VIDE 徵求作者
Vide

西南偏南 SXSW 直擊:Netflix 的 A/B Testing

0
By vide 編輯群 on 2017-04-21 Featured, 數據分析, 服務設計, 消費者洞察, 研究調查, 網站設計, 設計方法, 體驗設計

文/菲力普

非常幸運地,今年有機會參加西南偏南(South by Southwest, SXSW)——一個以音樂慶典、互動媒體及電影為主題,聞名世界的大型盛會。我參加的是互動媒體(Interactive)的活動,主題包含:設計、程式開發、智慧未來、科技產業、品牌行銷、政府、健康、風格及工作場所等九項,演講(sessions)舉辦的時間大致從每天的 9:30 AM 到 6:00 PM,玲瑯滿目、五花八門,舉辦地點還座落在整個市中心的幾十個地方,簡直要逼瘋有選擇困難的人。總之,我大致上都參加「設計」主題相關的演講;而最令我印象深刻的,是「排隊排到昏天黑地仍不得其門而入因為主講人好心加場才聽到」的 Design like a Scientist: A/B Testing UX at Netflix。

A/B Testing 是種瞭解使用者行為的常見方法,我們團隊的 Joyce 也在部落格上分享過 A/B Testing 的三大心法,故本文將摘錄 SXSW 活動中,Netflix 的 Navin Iyengar, Product Designer 在 A/B Testing UX 上的分享重點。

如同科學家般設計

為什麼演講標題說「如同科學家般設計」?首先,科學是什麼?科學是種系統性、可靠的資訊;之所以說系統性、可靠,是因為研究時經歷過:假設、實驗、結論等步驟,不斷驗證。而設計上常見的研究法,比方:調查法、深度訪談、觀察數據趨勢或 A/B Testing 等等,也多半可以用科學的研究步驟來進行。A/B Testing 就像是讓使用者透過行為來說話,用行為表示出他們對於這個產品/服務/設計喜歡與否。

A/B Testing 上,我們通常會有實驗組與控制組(也稱對照組);控制組是原先的版本,實驗組是你想嘗試的改變,這個改變就是你的「假設」。有了假設,根據假設設計「實驗」、收集資料;然後我們會開始解釋這些資料,越合理越好。這些解釋到最後會有個「結論」,決定這個假設是否為我們希望的結果。整個流程不斷重複驗證,就是一系列的實驗,最終能導向更具說服力的設計。

Netflix 的 A/B Testing 四步驟

Navin Iyengar 分享 Netflix 做 A/B Testing 的四步驟,以下列出並分點說明:

  1. 在投入資源前先測試
  2. 數據是你的指南針
  3. 往極端設計
  4. 觀察人們所為,而非他們所說

1. 在投入資源前先測試
Navin Iyengar 提到:「⋯⋯設計要能影響人,必須要先被執行、建立,然後推到全世界;所以不只是你說了算,還要測試、證明這些想法值得建立。當你有個想法,要去想說:核心是什麼?然後你怎麼測試?」

六年前的 Netflix 首頁並不漂亮;後來在 2014 年設計了新首頁並置換,但也只換了這頁。數據上顯示流量變高,使用者的停留時間變長,於是團隊就決定將全站的頁面都更換。

反思:該如何測試你的想法?

2. 數據是你的指南針
有了核心想法,也就是你的假設後,要找出可以幫你判斷出假設是對或錯的數據。假設目標是「增加人們的滿意度」,人們總共在 app 上花的時間、人們多常造訪、他們採取多少行動……這些都是判斷滿意度增加與否的有效方法;但參考什麼數據,決定了後續的設計方向是什麼。

Netflix 推出新劇的頁面,就根據使用者的身份而關注不同數據,最後導向不同設計。會員不容易因為一個頁面改變而取消訂閱;所以會員看到的新劇頁面充滿了該劇資訊,即使不想看也有其他影片可選。至於對非會員,獲取 (acquisition)數據就更重要,會希望他們免費體驗,然後轉成付費會員;所以非會員只會看到新劇,希望他們有興趣就趕快註冊。

反思:什麼是你已掌握的數據?

3. 往極端設計
你有了假設,有了數據,要進行最有趣的部分了:設計變因!一旦要測試,把變因設計得越極端越好,因為這樣可以幫助你探索所有可能的問題。Netflix 在 2014 開始設想:如果未來 Netflix 要更往串流走,人們在筆電上該看到什麼?不過這概念還太抽象、高層次,於是他們劃了個直角座標系來幫助思考。

X 軸上的兩端是主動與被動,Y 軸上的兩端是劃一與區別。主動是指可以看到很多內容擠在一起,讓使用者擁有很多選擇;被動則是指內容沒有太多選擇,直接推送使用者可能喜歡的幾項。劃一是指畫面上呈現的每個選項都在差不多的層級;區別是指有些選項更為顯而易見、更為推薦,選項呈現不同層級。

總之,他們在這種極端探索的思考模式下,摸索出最終的設計方向,才進入 A/B Testing。

反思:哪些是你可做到的極端?

4. 觀察人們所為,而非他們所說
Netflix 做的某次問卷中,某題問到:在 Netflix 上註冊前,你最想要知道更多的一件事是什麼?(What one thing would you like to know more about before signing up for Netflix?)結果有 46% 的人選了「所有可看的電影與電視劇」(All movies & TV shows available)。於是他們開始做 A/B Testing,原版為控制組,新版 prototype(有各種電影電視劇資訊的)為實驗組。

實驗組輸了整整五輪。

雖然大家說他們要的是內容,但其實太多內容使人分心;真正說服非會員去註冊的不是滿滿的內容,而是免費試用時的體驗。你可以在試用時體會到:上面內容有哪些、隨時收看的感覺、在不同平台收看的感覺、體驗串流有多快……等等。

反思:你觀察到哪些行為?

Q & A

兩則有意思的 Q & A 分享如下:

Q: 這麼頻繁地做測試,是否會影響到你們現有的會員?
A: 我們專注在測試新會員,因為他們比較不清楚這服務是在幹嘛的,所以比較不會影響現有的會員。

Q: 要多久才知道這次的測試是否失敗?(譯註:失敗指的是不符合原先的假設)
A: 我們的會員訂閱是以月為單位,所以測試至少要等一個月再決定。

其實這場演講我差點聽不到。Netflix 的 A/B Testing 實作實在太有名,原先的早場我早到了 38 分鐘排進隊伍,都排到快進門了說客滿下次請早;還好真的有下次。設計主題的演講很常爆滿,早點排隊是上策,也要記得排一些備案,否則就會跟我一樣各種向隅,排不進想參加的演講整整三次。感謝所有把文章看到這裡的朋友,為了感謝您看到這裡,下次再分享一篇 SXSW 大雜燴感想作為感恩回饋,如果還有下次的話。(逃~)

本文授權來源:UX 實驗室〈西南偏南 SXSW 直擊:Netflix 的 A/B Testing〉

Customer journey map Netflix UCD UI 設計 UX 使用者研究 使用者經驗 大數據 媒體 服務設計 用戶研究 用戶體驗 研討會 網站企劃 行動應用 顧客旅程圖 體驗設計
Share. Facebook Twitter Pinterest LinkedIn Tumblr Email
Previous Article給下一輪產品經理的震撼教育
Next Article 全球首款虛擬實境系統:HTC VIVE
vide 編輯群
  • Website
  • Facebook
  • Twitter

vide 編輯群

Related Posts

日誌研究的執行經驗分享 Tips for conducting Diary Studies

培養全方位醫療顧客經驗管理(Customer Experience Management)經理 – 第一個跨域醫療服務設計整合課程在輔大開跑

用戶研究的三個謊言

Leave A Reply Cancel Reply

近期文章
  • 日誌研究的執行經驗分享 Tips for conducting Diary Studies 2019-12-13
  • 培養全方位醫療顧客經驗管理(Customer Experience Management)經理 – 第一個跨域醫療服務設計整合課程在輔大開跑 2019-11-16
  • 用戶研究的三個謊言 2019-10-24
  • 不靠大數據,從粉絲的小數據讀出關鍵需求 2019-09-23
  • 為什麼大多數的Redesign其實沒什麼意義?因為忽略了三件事 2019-09-9
最受歡迎文章
By VIDE 編輯2019-12-13

日誌研究的執行經驗分享 Tips for conducting Diary Studies

By VIDE 編輯2019-11-16

培養全方位醫療顧客經驗管理(Customer Experience Management)經理 – 第一個跨域醫療服務設計整合課程在輔大開跑

By VIDE 編輯2019-10-24

用戶研究的三個謊言

By 奧沃市場趨勢顧問2019-09-23

不靠大數據,從粉絲的小數據讀出關鍵需求

By Lil Andy2019-09-9

為什麼大多數的Redesign其實沒什麼意義?因為忽略了三件事

文章分類
  • Featured (221)
  • 專欄 (21)
  • 教育 (93)
    • 工作坊 (49)
  • 未分類 (7)
  • 洞察 (269)
    • 數據分析 (42)
    • 消費者洞察 (125)
    • 研究調查 (144)
  • 產業案例 (299)
    • 交通 (30)
    • 公共服務 (46)
    • 城市 (82)
    • 政府 (28)
    • 旅遊 (68)
    • 日常生活 (146)
    • 金融 (21)
    • 銀髮 (33)
  • 組織文化 (133)
    • 團隊介紹 (40)
    • 組織溝通 (94)
  • 設計 (518)
    • 服務設計 (155)
    • 物聯設計 (35)
    • 網站設計 (86)
    • 行動設計 (116)
    • 設計思考 (128)
    • 設計方法 (103)
    • 通用設計 (38)
    • 體驗設計 (179)
關於 VIDE
VIDE 創誌是一個聚焦洞察與設計,關心教育發展並鼓勵創新的媒體平臺。
VIDE 代表 Value,Insight,Design,Education。源自於拉丁文 videre,意思是「看到」。

VIDE 持續透過介紹國內外創新案例、概念發想與設計思維與實踐方法,並邀請創新設計團隊、組織、社群成為 VIDE 的內容與活動合作夥伴。期許自己能成為國內重要創新設計的媒體代表,協助建構臺灣創新設計的產業鏈與生態系。
追蹤 VIDE
Facebook: https://facebook.com/videmedia
Twitter:https://twitter.com/vide_tw
RSS:https://vide.hpx.tw/feed

聯絡:editor@vide.tw 或 02-2511-7626
地址:10459 台北市松江路158號11F-1
2015-2017 VIDE 創誌 - 帶你看見創新設計 / 悠識文化股份有限公司
 
2015-2017 VIDE 創誌 - 帶你看見創新設計 / 悠識文化股份有限公司

Type above and press Enter to search. Press Esc to cancel.