文、製圖/鄧文華
A/B testing 要測的對象是使用者/消費者，對嗎？
對，卻不完全是。它也測試公司內部例如資源、排程，甚至思辯能力。
10/5（五）A/B testing 數據分析與決策實務研討講者、財報狗行銷經理林威宇表示，如果把 A/B testing 比喻成實驗，那麼將實驗串聯起來，彷彿真理越辯越明似的，有助公司釐清「到底」要去哪裡。另一方面，根據國外研究，高頻率地推動實驗也對企業成長有正面效益。
他提到在財報狗內部，每發動一輪 A/B testing，會先訂出目標（goal）為何，然後去想用什麼方法（ideas）達成、怎麼排資源（priority），接著下去執行（do），最後檢視成果（review），對照與目標的差異，並做成內部分享文件，方便下一次實驗參考。文件最好有穩定格式，就算不同人接手，也能看得懂且接續記錄。
訪談四位講者過程中，最有趣的莫過於「正打歪著」，意思是發生和目標有顯著差異的結果怎麼辦？林威宇說最常見的有兩種，一種是直接的正向或反向發展，例如本來要測增加留存率（retention rate），結果留存用戶效果不明顯，但付費者竟然變多了，天外飛來貢獻當月營收；一種是冒出無直接相關但值得關注的結果，好比測付費意願，但意外影響到粉絲數增加速率，就要像偵探一樣去抓出變數在哪裡。
怎麼抓出變數？往前找。這是源自於 TOYOTA 管理生產線經典的「5 Whys」，在發生問題後往前問 5 個為什麼。5 是舉例，用意在打破砂鍋問到底，找到根本原因，而非限制只能往前問 5 層。至於像「正打歪著」的情形也要分開來看，付費者變多雖然很好，然而原本實驗要找出增加留存率的原因不明，要再開一檔實驗繼續挖掘。
其他在實戰裡還有許多值得玩味的經驗，例如：
- 相關不一定是因果；因果要有直接可證明的關係。
- 有時候不知道原因，是不知道有這個數據。
- 有時候不知道原因，是不知道這幾個數據是有關聯的。
財報狗是從基本面找出投資標的的公司，同仁對於看數據自有一套心得，所以當發生歧見的時候，反而會好奇對方的觀點在哪，沒吵過架。
A/B testing 不只測用戶、測內部，也測同事的個性，這也挺有趣的。
想知道更多 A/B Testing 的操作細節？歡迎 10/5（五）來參加由 UserXper 悠識數位主辦的「A/B Testing 數據分析與決策實務研討」：https://userxper.kktix.cc/events/abtestingsmr
