用數據幫助產品改版，探索用戶真正世界 – 專訪資深產品經理 謝守澤

採訪與編輯/悠識用戶體驗數據分析

剛開始接觸數據分析的時候，不免會遇到一些問題，例如數據分析怎麼幫助產品經理做產品改版？產品改版前、改版後要追蹤哪些數字、做哪些分析，產品改版是否一定要做數據分析，不做可以嗎。這些問題，我們透過採訪資深的產品經理與專家為您解答，從他們身上挖掘寶貴的知識與觀點，讓所有剛開始的產品經理，能夠更好地將數據分析運用在自己的工作上。

很榮幸這次邀請到曾擔任使用者經驗研究員，並且後來在 Gogolook 擔任資深產品經理的謝守澤接受採訪，從他的豐富實戰經驗與視角，來了解數據分析與產品改版之間的重點。短短的半小時專訪，守澤就分享了許多產品改版與數據分析的重要觀念跟建議，趕緊來挖寶吧。

受訪者簡介：謝守澤
曾任用戶研究員，Gogolook 資深產品經理，專注於成長策略與海外市場拓展，希望能持續在用戶，產品，商業的世界裡，創造價值與好的體驗。

Q：可以請您介紹一下您產品經理的工作內容嗎

很多人問我產品經理是做哪些工作，我會把它分成三段，第一個就是確認目標，向上確認跟向團隊確認。另外一個是擬定產品策略，講細一點就是你根據目標，去規劃產品接下來要怎麼走可以達成目標。最後一個就是帶領團隊執行、Learning，重複 Build-Measure-Learn 的這個過程。

我在 Gogolook 工作四年多快五年，Junior 的 PM，一開始可能是在帶領團隊執行或修正，我一開始做的時候也是，寫 Spec 然後訂規格、訂 Metric，可能會參與一些產品策略，去提出你的想法，或是做一些研究去收集回饋。

然後到比較 Senior 一點的時候，像是最近一兩年就比較在負責達成目標，其實我們公司還蠻開放的，例如我就是一個 Product owner，先跟 CEO 或是主管確認目標後。產品策略就是我們團隊來訂，他只是跟我確認說，我們的策略是怎麼樣，他覺得有沒有問題，我們有沒有需要什麼資源或行銷預算。

所以 Senior 比較多時間是在確認產品目標、擬定產品策略。執行的部分比較是看一下方向，因為像我們團隊的配置，會有一個 Senior 跟一個 Junior 的 PM，Junior PM 會去幫忙注意細節，產品經理的工作大概就是這樣子。

Ｑ：以做產品來說，您會怎麼定義數據分析

產品有三個很重要的元素，用戶，產品，商業。數據分析最大的功用是它把之間的”鏈”具象化。用戶怎麼使用產品用戶，用了產品之後怎麼反應到商業，都可以透過數據來具象化。所以我覺得數據一個重要特性就是具象化，把一些原本虛幻的東西，變成一個很明確、可以定義、可以度量的指標。

至於怎麼使用數據分析，狹義來說是用來度量，會度量幾個東西，第一個是度量機會，就是開發前可以先用數據分析去看你的 Pool（潛在用戶數）可能有多大，度量機會有多大。第二個是每次產品上版的時候，就會看 Performance，度量這個產品到底做得好不好。然後上版之後，你會 Tracking 產品裡面每一個 Step，度量用戶有沒有什麼問題，到底會不會用你的產品。

廣義來說，數據分析是幫助 Learning 過程中的一個要素，不一定是唯一的要素，例如用戶研究可能是其中的要素。一個 PM 他最大的目標就是達成商業或是公司給你的目標，達成這個目標之前，要透過每次發版去學習，那數據分析就是其中一個 Learning 的工具。

Ｑ：除了量化分析之外，會有質化的部分嗎

會啊，一定要搭配質化。因為數據分析有一個盲點，就是它可以幫助你評估績效、發現問題。但有個最大的問題，當你發現問題或你看出有一個績效特別好或不好的時候，其實你很難得知原因，這個時候一定要搭配質化方式去反饋。所以像我們的步調比較是做 A/B Testing ，從 A/B Testing 裡面發現比較大的成長，或是令我們覺得有趣，或是特別奇怪的地方，然後我們就去做研究。

很多數據你不知道它為什麼，就沒有辦法複製或放大，所以就需要搭配質性研究。質化跟量化這兩個一定是離不開的，因為數據反應問題，但它沒辦法告訴你為什麼。

Ｑ：以產品改版來說，您覺得做數據分析的必要性如何

一定要做，可以從三個層面來說明。第一個是商業面，你做一件東西一定是有所求，例如你想要賺錢或其他目的，所以一定要能夠能評估你做的事情有沒有達成目的。

產品面的話，就是我前面說數據分析它幫助的三個 P，Pool、Performance、Problem。在初期的時候評估機會，評估 Pool 大小。做了之後就評估它的 Performance 跟發現 Problem ，產品面就是透過數據分析追蹤這三個東西。

然後在產品改版的時候，數據分析有一個很隱性但很重要的就是在溝通面，我分成對上跟對團隊來講。對上的話，數據是一個很有說服力、很吸睛的東西，所以善用數據分析會幫助你的溝通，你可能跟老闆說這個功能很多人使用，用戶都用得很開心，訪談的用戶也都說很好用。但這樣講很虛幻，透過數據可以變成是這個功能使用率佔全部用戶的百分之50，每人每週使用頻率是 3 次，這兩者比較起來說服力就差很多。所以我覺得數據是蠻好用來溝通的關鍵，尤其一開始就先用數據開場，吸引對方的注意力後，再去講更多細節，整個影響力會差蠻多的。

對團隊的話，一但數據指標很明確、團隊凝聚力會很夠，團隊會知道他們現在要做的東西是什麼，造成成長多少營收，或是沒有任何成長。團隊心裡會自有一把尺，了解目標是什麼，知道要怎麼自己去選擇該做的事。

進而可以降低溝通成本，只要有什麼事與指標無關，那大家會知道，這可以之後再做，否則以前就會有很多討論，例如覺得這個顏色一定不能這樣，或是這個流程用戶一定會不喜歡，這版一定要改，一但你有一個很明確的指標，就會讓大家在同條線上去討論優先順序，這對溝通很有的幫助。

所以其實我都開玩笑說，現在我都不設計 Flow，我都只說個大概，例如目標就是優化這個的 Conversion rate ，所以這裡要比較明顯，或是你可以想到任何方法幫助達到商業目標都ＯＫ，我對設計師說，其他你要用什麼顏色用什麼東西都交給你決定。

Q：您剛剛提到的三個 P，可以再介紹一下嗎

我每次都會被公司的人問一個問題，數據在開發流程裡面到底有什麼用。其實就是 3 個 P，開發前的話就是確認 Pool，在開發一個東西之前，不是有一個概念就馬上要開始做，一定要先確認值不值得做。

值不值得做一般我們會從兩個方式確認，一個是質化，一個是量化，那量化的方式是確認 Pool，Pool 就是說你做這個東西到底有多少潛在的使用者可能會用，例如要修改一個 Function，可是其實這個 Function 根本只有1%的人會用，那這個 Pool 就是很小，所以你可能不應該先修改這個 Function，而是想辦法先把 Pool 變大。

開發後就是評估 Performance，每次改版會設立指標，改版之後都要看說這次改版對指標到底有沒有影響，這就是第二個 P。最後一個就是 Problem，產品會有重要的 Flow，我們就會在這個流程追蹤每個頁面的瀏覽率跟動作的使用率，上線之後流程一拉出來就會發現哪裡是轉換率最低的，那就是 Problem，可能就是我們要解決的部分。所以在產品開發流程裡面，數據分析在開發前可以用在評估 Pool，開發後可以評估 Performance 跟發現 Problem，這就是數據分析的三個 P。

Q：產品改版如果沒做數據分析的話，您覺得最明顯的問題是什麼

沒做的問題就是你也不知道你在做的東西到底對或不對，這就是最明顯的問題。沒做的話就是各說各話，往往遇到這種情況，好的方式是有一個人可以說服另外一個人，那如果壞的方式就是當我們都不能互相說服的時候，往往就是靠誰的官大就聽誰的，可是這是一個不太正確的方式。

而且真的開始做數據分析後，會發現其實有很多反直覺的事情。就是做之前覺得可能會呈現怎樣，但實際做之後常發現完全不一樣。例如我們曾經做過一個東西是，我們覺得做這個東西績效一定會變差，的確在全世界大部分的地方績效都變差，但有一個國家績效卻變很好，這是完全沒想到的。我們之後有用質化的方式去探討原因，原因也的確是合理的。可是這種事情如果你只靠直覺的話就很難發現，因為世界會跟你想像的很不一樣，透過數據分析可以去探索用戶真正的世界到底是怎麼樣，所以如果不做的話，其實就是有點矇著眼睛做事。

Q：如果有產品經理不做數據分析的話，您的感想是什麼

產品經理會沒有辦法去做正確的決定，他得要靠很多的想像，或者其他資料的來源，如果他做一個東西不能知道對或不對，就一直埋頭下去做。這樣會浪費很多時間，我覺得以做網路產品而言，速度很重要，你沒辦法做正確決定，就沒辦法加快你的 Iteration，所以還是鼓勵大家都可以做數據分析。

Q：您會怎麼用數據分析幫助做產品改版

大的概念就是開發前評估 Pool，開發後評估 Performance 與 Problem，然後如果是 Pool 的話比較 by case，但基本上就是看潛在的 Pool 有多大。其實有時候你不一定抓得到真實的數據，如果是你從來沒做過的東西，你可能抓不到，可是我覺得還是要有一個概念是你要去做假設。我在公司分享的時候有舉一個例子，例如說你要開一間餐廳的話，你沒有任何數據那你怎麼評估 Pool，其實你可以站在要開餐廳的店址，然後站一天，一直按碼表看多少人走過來，如果能抓到數據是最好，不能抓到數據其實有時候用一些假設或第三方資料也是一個蠻好的方式。我覺得數據分析不是真的這麼死說看數據，比較像是一個 Mindset，就是事前要做評估。

如果是 Performance 就是要設立指標，設立指標真的蠻重要的，其實大部分最重要的指標就是那幾個。但我覺得比較 Tricky 的是，有時候做一些事情不一定可以直接那麼偉大影響到主要的指標，這時候我們會設定 Proxy Metric，例如有時候我們會看留存率，會看 30 天的留存，可是你不可能放上一個版本就等 30 天，然後看它有沒有用，所以我們會抓一個例如可以反應 30 天，跟 30 天 Retention 正相關的東西，例如我們就看 7 天留存，那這就是 Proxy Metric。所以我覺得你要怎麼找到適合產品的這種指標也是蠻重要的，但這就蠻看經驗跟產品的類型。

如果是 Problem 的話就蠻直接的，我們一定會追蹤每次改版最重要 Flow 中的每一步，然後去看說到底哪裡會有問題。這裡我比較想講一件事，也是一個心路歷程，就是在早期做數據的時候都會什麼都要追蹤，但後來覺得什麼都追蹤這個概念也不太正確。其實要看的數據一定是能夠對你產生下一步、有幫助的東西，你才去看，否則我們後來都戲稱那些沒有辦法讓你產生下一步的數據都是長知識而已。

數據是一個很好玩的東西，有時候你可能會花費超多時間在看一大堆長知識的數據，可是其實身為一個 PM，你必須知道重要的是有辦法讓你產生下一步的數據，像我們以前也會追蹤超多的數據，然後也沒人在看，唯一看的那次就是決定要不要拔掉追蹤，這其實就很可惜，而且浪費工程師資源。

Q：請問您平常會用什麼樣的數據分析方法

像我們就是 A/B Testing，我們 80%的 Feature 都有做 A/B Testing，也有幾次經驗是搶快不做 A/B Testing，後來再用其他方式去追蹤績效，但往往這種情況最後都花更多時間。

如果你真的要知道新的方案到底有沒有比較好的話，還是建議做 A/B testing。做 A/B testing 比起事後再去追蹤，是一個最省力的方式。但 A/B testing 裡面的確水也蠻深的，例如 A/B testing 有一個東西要做好，就是測試的環境一定要很 Reliable，如果測試環境是錯的，不管怎麼測試都是錯的。

例如常發生的一件事就是分組錯了，所以我們做 A/B testing 之前，我們會先做一個東西叫做 A/A testing，就是兩個都沒有變的東西，結果一定是要一樣的，可是有時候因為系統或是測試環境的關係，有可能 A/A testing 的結果原本就不一樣，某一組就是會比較高，那時候就是有問題。這種東西其實是蠻恐怖的，因為它錯了，整盤都錯，你就是在一個錯的基礎之下去看事情。

有很多人就會問我們說，到底自建自己的 Tracking tool，跟用第三方的工具，到底好或壞是什麼，我會覺得自建的工具有一個風險就是，你每次做什麼改變都要確認分組是沒問題的，那如果你是用很 Reliable 的工具，它就會幫你確認，但就算它已經幫你確認，它還是鼓勵你做 A/A testing，因為像某市面上的 A/B testing 的 Tool，他的手冊裡面也是有建議你在開始做任何實驗之前，要先做自己的 A/A testing。我覺得 A/B testing 是很好的工具，也不困難，但是有很多執行的細節，尤其是在分組這方面我覺得可以注意一下。

另外我覺得學一些資料庫語法對 PM 是有幫助的，例如像 SQL ，因為有時候數據在資料庫裡面不是那麼容易取得，如果你又在一個不是很大的團隊，往往沒有足夠的人力可以常常幫你抓數據。而且當你數據玩久了之後，你就會發覺 Dashboard 上的數據，已經漸漸沒有辦法滿足你，你會有一種需求是要去撈資料庫的資料，所以我覺得要會一些 SQL 語法。甚至我覺得這是PM之後蠻必備的功能，因為如果你不會的話，你就每次都要去找工程師，請他幫你寫，然後等寫完跑完之後，再幫你複製到 Excel，快一點可能都要兩三個小時了，還要工程師也有空，那如果他沒空的話可能要一兩天，可是你自己會的話就會很快

Q：可以請您給想學數據分析的產品經理一些建議嗎

有些人可能會覺得不知道怎麼設計一個好的指標或是怎麼分析，我覺得其實你要追求最根本的原因，就是要先把目標搞清楚，把你做的每一件事情跟目標之間的關係搞清楚。如果你把這些通通搞清楚之後，其實怎麼設計指標，就只是把中間的關係想辦法變成數字而已。我覺得有些人不知道怎麼設定指標，是沒把目標跟他做的事情之間的關係搞清楚，所以前頭就沒搞清楚，後面就很難去設計一個對的指標，如果把前面這些東西都搞清楚的話，其實設計指標不是很難的事情。

再講到分析，分析就是如果你一開始指標設定得好，或是你該有的 Tracking 都有追蹤到的話，其實事後的分析也不會真的很困難，事實上最困難的是前面沒做好，最後你已經拿到結果了，才在那邊想說我可不可用現有的東西去推估。

我有一句趣話，如果你想要事後追朔，往往是神仙難救，如果一開始指標沒有規劃好的話，其實你分析跟我分析其實差不了多少，所以不管是設計指標或是數據分析的話，其實都是你把前面那些搞清楚的話，後面就簡單了。

還有一個建議是大家不要覺得數據分析是萬靈丹，它就是一個工具，我前面一開始有講，PM 就是要達成目標，達成目標就是要不斷學習，不斷學習有很多的工具，數據只是其中一個工具。我覺得它是必備的工具，可是它不該是唯一的工具，所以我覺得要搭配質化，或是 Marketing 分析、競爭者分析，這些都是很必備的。數據不是萬靈丹，也不是唯一的工具。

Ｑ：您會建議想入門的人從哪邊開始學起

第一個的就是我剛剛說的，你要把前面搞清楚，目標到你要做的事情。然後如果數據不跟商業掛鉤的話，其實就沒有什麼力量。我覺得數據的終點就是在商業上，或是在你公司的目標上，所以一定要去搞清楚公司的商業模式是什麼。

然後產品到用戶這段應該大部份的 PM 都比較熟悉，大家比較欠缺的可能是從產品到商業這段，你必須知道產品到商業是要被連起來的，這樣你才能展現數據分析的力量，否則就算辛苦學了很久，也沒辦法產生好的影響。所以要搞清楚從產品到商業的關係，怎麼用數據怎麼去呈現。

接下來就是了解怎麼設計指標、怎麼 Tracking Event，這都有套路，找到對的方式、看對的書，或找到對的課程，例如上悠識的課，抓到一些重要的觀念其實就不難。另外一個關鍵點是收集到數據之後，一定要記得收集到數據不是終點，終點是這個數據到底有什麼特別，可以給你帶來怎樣的 Learning，讓你可以反饋到下一次改版，或是反饋到你的目標底下，這才是最重要的。你不應該看完數據就沒了，你要再透過它來學習，透過質化或是在設計另一個實驗。我覺得單純數據那塊是簡單的，難的是難在你怎麼把它用對，讓它產生威力，讓它對你的產品真的有用，真正協助你的產品，達成目標。

非常感謝您的閱讀，以上就是這次的專訪，也很感謝守澤願意撥出時間，為我們帶來這麼多很有價值的經驗與觀點，如果這篇文章對您有幫助，也希望您能鼓勵我們，將這篇文章分享給您的朋友，讓我們能繼續採訪下去，再次感謝。若您有任何問題也非常歡迎在文章底下留言或來信聊聊天，期待下次見 =)