A/B testing常見迷思與問題大解析

2019.11.25 by
產品三眼怪3PM LAB
產品三眼怪3PM LAB 查看更多文章

Anne、Nana、Yolanda是來自網路產業的三位PM,秉持如三眼怪的好奇心持續探索產品開發的世界,致力分享網路產品經理實務、產品開發案例、趨勢、新知。

A/B testing常見迷思與問題大解析
Rawpixel.com via shutterstock
實驗途中碰釘子,該怎麼處理與調整?有時實驗失敗功能卻仍要上線,這又是為什麼?本文一次解答A/B testing優化產品過程的種種疑惑。

A/B Testing是個在優化產品時很常見的一種實驗方式,概念上不難,所以也常有人會誤以為「我只要把兩個不同產品版本丟出去,數據就會替我做決定了!」。這樣的誤會可大了,陷入這個迷思之後的結果就是:實驗跑了兩週、但看完數據之後跟預期不同、一個頭兩個大的同時、不知道怎麼解釋、更不知道下一步該做什麼才好。

這一篇我收集了一些之前網友詢問的實驗狀況問答,希望可以給所有「知道實驗準則與方法、但剛開始執行有些狀況不確定怎麼處理」或「做了實驗之後反而不知道要不要將功能上線」的朋友一點方向。我不是實驗專家,實驗的狀況也真的千百種,常常需要見招拆招,若以下內容或想法有描述錯誤或不精準的地方也歡迎多多指教。

團隊對於成功指標的選擇意見相左,怎麼辦?

之前有朋友問我,她身處的電商公司希望以「整頁轉換率」當成最終目標,而她則認為以「開啟App次數」當指標更符合用戶成長的定義。當自己和公司的認知不同,該怎麼處理呢?

以上面例子「整頁轉換率」和「開啟App次數」來說,這兩個指標其實拉高一個層次看,都可以是「交易數量」的領先指標(Leading metrics),都是對成長是有正面影響的,其實它們不衝突。但是可以看得出來,其實是這位朋友和公司對於「最大問題是什麼」跟「要優先處理哪一個」還沒有共識。

如果目前要處理的最大問題是「用戶可以成功順利單次購買,但買了一次之後就不會再回來逛了」,那使用開啟App次數來擔任指標就算合理,因為黏著度可能是成長關鍵。但如果目前的問題是「用戶單次購買流程還有很多摩擦」,這樣的話整頁轉換率就會是更好的指標。

這樣的情況中,或許可以詢問公司「我們的最終目標是轉換率嗎?交易人數或數量呢?還是活躍用戶數量?」來找出你們共同的目標,再回推回來「若交易數量是我們的目標,那衝轉換率是最有效的方法嗎?」一步一步尋找共識。

我的實驗常常沒有統計上顯著,怎麼辦?

統計上來說,如果沒有顯著,我們就無法確認實驗成功或失敗。不顯著的原因有幾個,可能因為用戶數量太少、時間不夠久、或者影響但因為幅度太小而無法檢驗。

第一步我們可以先用Power Calculator檢查一下,看看你的實驗需要多久時間、多少樣本來看出實驗成果。假設根據現在的用戶量,要等三個月才可以看到統計上顯著的成果,那建議還是可以重新思考到底目前的產品階段是否還是太早、是否真的適合做實驗。

如果確認樣本數和時間都足夠,但卻還是不顯著,那這樣的狀況大多就是因為產品改動對成功指標帶來的影響不夠大。這樣的話可能有幾個方法可以研究看看原因:

1. 重新思考要用什麼當作成功指標(Success Metric)

有可能選定的指標太深,本來就是落後指標(Lagging Metric)不易變動。如果是這樣,可以看看有沒有跟目標一致但更領先(Leading)的指標。(關於Lagging&Leading Metrics的解釋,可以參見這篇文章

2. 切成比較小的用戶區隔

有的時候產品改動在整體用戶的影響較難看出,因為舊用戶已經有習慣的使用方式,可以考慮看看在全新使用者上是否有影響。或者可以切分國家/市場來看,可能會因為文化背景或者按鈕上的文字翻譯適當與否的關係,對某部分人有較大的影響。

如果切來切去還是不顯著,那很有可能就是影響不夠大、無結論(而且其實以上兩種方法都有點偷吃步,畢竟成功指標和區隔最好實驗設計時就要考慮清楚)。我們就坦然接受失敗,思考一下要將功能砍掉還是上線吧!

實驗失敗了,還是可以上線嗎?

若以正常的A/B Testing流程進行,失敗率高是正常的,畢竟我們都只是凡人。但是我認為A/B Testing成功與否,跟是否要將改動上線其實是兩件事。 對我來說,實驗結果只是提供了一項決策的「量化」資訊,上線的決策其實必須同時考量實驗結果、用戶體驗與產品策略與長期願景等不同面向的資訊。即使A/B Testing可能最公正,但也不需要「只」用這個資訊做決策。

比如說我們可能改了一個介面轉換的動畫效果,讓整體使用起來更順手,根據我的經驗,這類改動帶來的體驗提升很難大幅影響轉換率。但這樣的改動真的不值得上線嗎?一定要帶來量化影響才有價值嗎?這個時候決策者(PM或其他人)的「上線與否決策」的背後原因就很關鍵了,為什麼失敗你還是想把它上線?用戶訪談有什麼樣的證據告訴我們用戶喜歡這個改動?又或是這個改動如何幫助產品未來的創新?怎麼「有邏輯的說故事」也是一個決策者必點的技能。

實驗失敗後,我們要怎麼知道為什麼失敗?

首先,你要先有一系列「實驗為什麼失敗」的假設,這些假設可以從你之前的經驗、看過的研究報告或產業經驗推敲而來。接著,可以再用其他量化或質化的方式去驗證你的「失敗假設」中哪個為真,我這邊有幾個找答案的方向供大家參考:

1. 質化研究

以用戶訪談或問卷為主,可以詢問在實驗組的用戶「請問你有注意到某某產品改動嗎?」「看到這樣改變的感覺如何?」。如果用戶根本沒注意到,那很有可能就是功能的採用率太低,也當然不會帶來影響,如果用戶有用,也可以聽聽他們的感想,可能會帶給你更多想法。

2. 量化分析

我覺得可以用剛剛的Leading&Lagging Metric來思考,可以把用戶的動作/旅程(Journey)畫成一條路線:有多少用戶看到訊息?有多少用戶看到訊息之後點了購買按鈕?這樣一層一層看下來。如果用戶根本沒看訊息,可能就是視覺上可以優化;如果用戶看了訊息但還是不點,可能要重新思考原本的假設是否為真;如果用戶看了訊息也點了,但在結帳流程中放棄離開,可能就要看看結帳端的問題,是不是被訊息觸發購買的用戶也相對更容易放棄?如何讓結帳更容易?可以試著透過一步一步解剖數據找到問題點。

3. 更多實驗

透過上面兩種方式,你可能會發現同時有不只一個失敗的原因。這樣的話可以考慮跑個「實驗中的實驗」來看看改哪個有幫助。但這樣的話就要看開發成本和可能的Uplift是否CP值夠高,跟平常排產品改動的優先級一樣。

即使傷害了健康指標,還是可以上線嗎?

還是老話一句:看情況。我自己是有遇過「傷害健康指標但還是上線」的狀況,我當時說的「故事」簡而言之是:我們的產品改動可以替整個產品帶來更多可能性。 就像是Local maximum VS global maximum的理論,如果我們不做破壞性的突破、只做小幅度優化,能優化的空間是有限的,所以我希望透過這一步、帶來更多可能性,可能暫時會有些負面影響,但我相信長期是對整體有益的。

在這樣的產品策略與前提之下,我會建議跟「指標被傷害的團隊」共同討論,提出「我們的產品改動雖然短期會傷害你的指標(例如收入),但是長期來說其實他提供你的其他可能性(例如可以利用新的Interaction放其他版位的廣告)」的論點,一起創造雙贏的產品體驗和商業價值。

A/B Testing的主要功能是收集做決策時需要的量化資料,它只能告訴你改動造成的影響,但無法全面解釋「為什麼」。

所以即使有數據,最終還是要靠決策者的專業判斷力來下結論。 最近我也有聽說有些公司會開始用一些Machine Learning Model去預測改動對於產品長期的影響(如:顧客忠誠度),轉換率不再是唯一的選擇,這樣的「預測」演算法也不失為一個實用的產品驗證方式。

(本文由產品三眼怪授權轉載自其Medium

責任編輯:陳建鈞

《數位時代》長期徵稿,針對時事科技議題,需要您的獨特觀點,歡迎各類專業人士來稿一起交流。投稿請寄edit@bnext.com.tw,文長至少800字,請附上個人100字內簡介,文章若採用將經編輯潤飾,如需改標會與您討論。

(觀點文章呈現多元意見,不代表《數位時代》的立場。)

每日精選科技圈重要消息