A／B Testing是個在優化產品時很常見的一種實驗方式，概念上不難，所以也常有人會誤以為「我只要把兩個不同產品版本丟出去，數據就會替我做決定了！」。這樣的誤會可大了，陷入這個迷思之後的結果就是：實驗跑了兩週、但看完數據之後跟預期不同、一個頭兩個大的同時、不知道怎麼解釋、更不知道下一步該做什麼才好。
這一篇我收集了一些之前網友詢問的實驗狀況問答，希望可以給所有「知道實驗準則與方法、但剛開始執行有些狀況不確定怎麼處理」或「做了實驗之後反而不知道要不要將功能上線」的朋友一點方向。我不是實驗專家，實驗的狀況也真的千百種，常常需要見招拆招，若以下內容或想法有描述錯誤或不精準的地方也歡迎多多指教。
團隊對於成功指標的選擇意見相左，怎麼辦？
之前有朋友問我，她身處的電商公司希望以「整頁轉換率」當成最終目標，而她則認為以「開啟App次數」當指標更符合用戶成長的定義。當自己和公司的認知不同，該怎麼處理呢？
以上面例子「整頁轉換率」和「開啟App次數」來說，這兩個指標其實拉高一個層次看，都可以是「交易數量」的領先指標（Leading metrics），都是對成長是有正面影響的，其實它們不衝突。但是可以看得出來，其實是這位朋友和公司對於「最大問題是什麼」跟「要優先處理哪一個」還沒有共識。
如果目前要處理的最大問題是「用戶可以成功順利單次購買，但買了一次之後就不會再回來逛了」，那使用開啟App次數來擔任指標就算合理，因為黏著度可能是成長關鍵。但如果目前的問題是「用戶單次購買流程還有很多摩擦」，這樣的話整頁轉換率就會是更好的指標。
這樣的情況中，或許可以詢問公司「我們的最終目標是轉換率嗎？交易人數或數量呢？還是活躍用戶數量？」來找出你們共同的目標，再回推回來「若交易數量是我們的目標，那衝轉換率是最有效的方法嗎？」一步一步尋找共識。
我的實驗常常沒有統計上顯著，怎麼辦？
統計上來說，如果沒有顯著，我們就無法確認實驗成功或失敗。不顯著的原因有幾個，可能因為用戶數量太少、時間不夠久、或者影響但因為幅度太小而無法檢驗。
第一步我們可以先用Power Calculator檢查一下，看看你的實驗需要多久時間、多少樣本來看出實驗成果。假設根據現在的用戶量，要等三個月才可以看到統計上顯著的成果，那建議還是可以重新思考到底目前的產品階段是否還是太早、是否真的適合做實驗。
如果確認樣本數和時間都足夠，但卻還是不顯著，那這樣的狀況大多就是因為產品改動對成功指標帶來的影響不夠大。這樣的話可能有幾個方法可以研究看看原因：
1. 重新思考要用什麼當作成功指標（Success Metric）
有可能選定的指標太深，本來就是落後指標（Lagging Metric）不易變動。如果是這樣，可以看看有沒有跟目標一致但更領先（Leading）的指標。（關於Lagging&Leading Metrics的解釋，可以參見這篇文章）
2. 切成比較小的用戶區隔
有的時候產品改動在整體用戶的影響較難看出，因為舊用戶已經有習慣的使用方式，可以考慮看看在全新使用者上是否有影響。或者可以切分國家／市場來看，可能會因為文化背景或者按鈕上的文字翻譯適當與否的關係，對某部分人有較大的影響。
如果切來切去還是不顯著，那很有可能就是影響不夠大、無結論（而且其實以上兩種方法都有點偷吃步，畢竟成功指標和區隔最好實驗設計時就要考慮清楚）。我們就坦然接受失敗，思考一下要將功能砍掉還是上線吧！
實驗失敗了，還是可以上線嗎？
若以正常的A／B Testing流程進行，失敗率高是正常的，畢竟我們都只是凡人。但是我認為A／B Testing成功與否，跟是否要將改動上線其實是兩件事。 對我來說，實驗結果只是提供了一項決策的「量化」資訊，上線的決策其實必須同時考量實驗結果、用戶體驗與產品策略與長期願景等不同面向的資訊。即使A／B Testing可能最公正，但也不需要「只」用這個資訊做決策。
比如說我們可能改了一個介面轉換的動畫效果，讓整體使用起來更順手，根據我的經驗，這類改動帶來的體驗提升很難大幅影響轉換率。但這樣的改動真的不值得上線嗎？一定要帶來量化影響才有價值嗎？這個時候決策者（PM或其他人）的「上線與否決策」的背後原因就很關鍵了，為什麼失敗你還是想把它上線？用戶訪談有什麼樣的證據告訴我們用戶喜歡這個改動？又或是這個改動如何幫助產品未來的創新？怎麼「有邏輯的說故事」也是一個決策者必點的技能。
實驗失敗後，我們要怎麼知道為什麼失敗？
首先，你要先有一系列「實驗為什麼失敗」的假設，這些假設可以從你之前的經驗、看過的研究報告或產業經驗推敲而來。接著，可以再用其他量化或質化的方式去驗證你的「失敗假設」中哪個為真，我這邊有幾個找答案的方向供大家參考：
1. 質化研究
以用戶訪談或問卷為主，可以詢問在實驗組的用戶「請問你有注意到某某產品改動嗎？」「看到這樣改變的感覺如何？」。如果用戶根本沒注意到，那很有可能就是功能的採用率太低，也當然不會帶來影響，如果用戶有用，也可以聽聽他們的感想，可能會帶給你更多想法。
2. 量化分析
我覺得可以用剛剛的Leading&Lagging Metric來思考，可以把用戶的動作／旅程（Journey）畫成一條路線：有多少用戶看到訊息？有多少用戶看到訊息之後點了購買按鈕？這樣一層一層看下來。如果用戶根本沒看訊息，可能就是視覺上可以優化；如果用戶看了訊息但還是不點，可能要重新思考原本的假設是否為真；如果用戶看了訊息也點了，但在結帳流程中放棄離開，可能就要看看結帳端的問題，是不是被訊息觸發購買的用戶也相對更容易放棄？如何讓結帳更容易？可以試著透過一步一步解剖數據找到問題點。
3. 更多實驗
透過上面兩種方式，你可能會發現同時有不只一個失敗的原因。這樣的話可以考慮跑個「實驗中的實驗」來看看改哪個有幫助。但這樣的話就要看開發成本和可能的Uplift是否CP值夠高，跟平常排產品改動的優先級一樣。
即使傷害了健康指標，還是可以上線嗎？
還是老話一句：看情況。我自己是有遇過「傷害健康指標但還是上線」的狀況，我當時說的「故事」簡而言之是：我們的產品改動可以替整個產品帶來更多可能性。 就像是Local maximum VS global maximum的理論，如果我們不做破壞性的突破、只做小幅度優化，能優化的空間是有限的，所以我希望透過這一步、帶來更多可能性，可能暫時會有些負面影響，但我相信長期是對整體有益的。
在這樣的產品策略與前提之下，我會建議跟「指標被傷害的團隊」共同討論，提出「我們的產品改動雖然短期會傷害你的指標（例如收入），但是長期來說其實他提供你的其他可能性（例如可以利用新的Interaction放其他版位的廣告）」的論點，一起創造雙贏的產品體驗和商業價值。
A／B Testing的主要功能是收集做決策時需要的量化資料，它只能告訴你改動造成的影響，但無法全面解釋「為什麼」。
所以即使有數據，最終還是要靠決策者的專業判斷力來下結論。 最近我也有聽說有些公司會開始用一些Machine Learning Model去預測改動對於產品長期的影響（如：顧客忠誠度），轉換率不再是唯一的選擇，這樣的「預測」演算法也不失為一個實用的產品驗證方式。
（本文由產品三眼怪授權轉載自其Medium）
責任編輯：陳建鈞
《數位時代》長期徵稿，針對時事科技議題，需要您的獨特觀點，歡迎各類專業人士來稿一起交流。投稿請寄edit@bnext.com.tw，文長至少800字，請附上個人100字內簡介，文章若採用將經編輯潤飾，如需改標會與您討論。
（觀點文章呈現多元意見，不代表《數位時代》的立場。）
