1473047553515

矽谷的那些明星產品是如何進行AB測試的?

對於平台化產品,產品和運營一直在解決的核心價值問題就是——
如何讓用戶用最快的速度找到並消費自己感興趣的、急切需要的、超越期待的好內容、好服務。
如果你沒有在創業前想清楚這個問題,或者做好心理準備和團隊建設,
準備花費巨大的精力去解決這個問題,等待你的往往是用戶的白眼、投資者的冷漠臉、員工的辭職信。
在競爭激烈、產品同質的領域,勝敗關鍵在乎細節。
事實證明,用戶建模、機器學習、推薦算法、人工推薦,
這些聽都聽吐了的概念,但你不得不為用戶而做(或者不得不為VC而做),
需要大量產品和運營的試錯過程,才有希望一點點接近合理的效果。
而其中的關鍵步驟,在於不斷設定用戶需求,提出解決方向,
用A/B測試的方法,嘗試一切可能合理的產品功能。
A/B測試需要一定的準備成本和技術成本,
所以如果你是一個創業者,或是已經靠直覺取得了一定成績的產品經理,
你可能會有很多說辭來拒絕A/B測試,比如譯者聽到的就有——
「更本質的方法應該是重構模式」、「更快的方法應該是用戶訪談」、「這種新技術並不能解決一切」等等。
不過,A/B測試根本不是互聯網行業的新發明。
在流水線生產、快消領域,A/B測試早就證明了自己的價值,
遠比大多數万眾創業者「重新發明商業模式」的性價比要高。
如果你還不相信,我們就來看一下,矽谷的產品是如何用A/B測試優化了業務的。
一、提高轉化率
我們以Frank&Oak為例,這是一家男裝電商,
他們根據用戶個人興趣和操作行為,為用戶打造定制化推薦的購物體驗,這是他和其他電商網站相比的亮點。
但是和國內的美麗說類似,只有註冊賬號、登錄app,才能夠獲得這種個性化體驗。
因為是否註冊登錄是用戶轉化的第一個關鍵步驟,Frank&Oak首先針對註冊流程優化進行了A/B測試。
他們先嘗試改變了登錄模塊的位置、表單交互,之前他們的第三方登錄只支持facebook賬號。
在這個版本他們想測試增加一個google賬號登錄,看看是否會提高註冊率,最終的測試改動如下圖:
286334329884666108
通過A/B測試結果顯示,增加了google登陸按鈕之後,移動註冊量提高了150%。
雖然Frank&Oak只嘗試了幾次就獲得了巨大的成功,你可能需要調整很多次才能夠找到奏效的方法。
下面是一些你可以用來測試著陸頁的著眼點,幫助你引導用戶從搜索商品到完成註冊。分別為:

  • 對登錄行為進行漏斗模型分析
  • 信息表單的填寫
  • 文本和圖像的引導
  • 更多的登錄方式

二、激活
當你的用戶完成註冊環節時,你需要去激活他們。
商業上來說,這意味著促使用戶盡可能快去買東西。
為了完成這個目標,研究顯示你需要在最開始的兩個流程內讓他們完成購買,不然很可能他們就再也不會回來了。
例如,Karmaloop在分析用戶激活數據的時候發現:
先將物品放到了心願單的用戶比那些將物品放入購物車的用戶的完成購買率低。
Karmaloop分析了這個情況以後做了一個嘗試:在設計上弱化「心願單」按鈕的存在感。
701861198108469728
 
降低用戶與心願單之間的交互使得Karmaloop更好的抓住了用戶的購物意圖。
這個簡單的測試提高了用戶活躍度,提升了35%的銷售額。
有時候你不需要完全刪除一個功能,一些小小的改變就足以達到目標。
三、提高內容利用率
對於內容類網站和APP,推薦內容的壓力每天都在增加。
尤其是花了大價錢在自製劇、購買版權、限時分成、保底買斷方面的視頻網站,
他們最應該擔心的就是內容利用率過低——
比如首頁和分類頁點擊率不足、比如用戶只能通過搜索才能找到好內容、比如內容訂閱率太低或者回訪率太低。
一向自稱「我們是一家技術公司而不是電影公司」的NETFLIX在這方面稱得上業界良心,
尤其是對首頁的有效利用堪稱一絕。
新用戶登錄時看到的NETFLIX首頁,推薦的內容是NETFLIX的常青王牌劇《紙牌屋》。
681621437905193370
筆者第二次訪問時看到的NETFLIX首頁,首頁從常青劇換成了新劇《怪奇物語》,
可以看到根據一些用戶習慣,下面的NETFLIX獨家內容開始出現了一些傾向。
562814347465475280
別人的賬號裡在同一天看到的首頁完全不同,看到的是脫力喜劇《福是全家福的福》。
516660817443984623
切換為兒童賬號後:
468157622420619116
未登錄之前的首頁,強調的是海量內容。
225044496980331275
在成為以個性推薦知名的產品之前,NETFLIX深知,獲取用戶的信任不是一件簡單的事。
Netflix的工程師Gopla Krishnan在自己的博客上記錄道:
一個產品功能或內容,如果無法在90秒之內獲取一個用戶的注意,
用戶很可能就會失去興趣,並且轉向其他行為。
這些問題如果反復發生,可能是因為我們沒有為用戶呈現正確的內容。
如果回溯原因,則是因為我們沒有足夠的根據,證明用戶為何喜歡某一個內容,因此沒有用正確的思路去呈現內容。
於是Netflix在2013年做了一次大規模的A/B測試(實際上是A/B/N測試),
看看圍繞同一部電影,他們是否能夠在海報上做些個性化文章,提高轉化率。
283760296950541773
圖1是默認海報,圖2提高了14%的點擊率、圖3提高了6%。
NETLIX隨後開發了一個系統級方案,
可以自動將節目圖片根據不同的寬高比、裁切效果、修飾程度、本土化元素等維度進行分組。
他們把這套方案逐漸應用到越來越多的節目上,
跟踪相應的用戶點擊轉化率,以下是一些例子,綠色箭頭是用戶轉化率較高的內容:
413060757039758928
四、經驗總結
1、為何要使用A/B testing
如果你給產品設計了一個新功能或新的運營手段,
使用A/B測試可以幫你扭轉兩個關鍵指標:留存和收入。
使用A/B測試,徹底改變產品,跟踪用戶行為,你可以看到你的產品如何一步步提升留存和收入的。
如果測試有效,就盡快放進基線版,做成標配。這種手段可以幫你持續優化產品和運營。
2、你的用戶是否按照你的設定在操作
我的經驗是,用戶在絕大多數時候都不會按你期望的方式操作,
有時候他們連你精心推敲、放得好好的按鈕都找不到。
個中原因很多:
可能因為你的設計不夠直觀、顏色不夠突出、不理解某種操作、可交互的選擇太多無法決定從何下手……等等。
3、你的直覺準確嗎?
很遺憾,對於用戶行為來說,多數時候我們的直覺都是錯的。
唯一能證明對錯的方式就是A/B測試。在用戶體驗領域,這是最好的鑑別指針。
以一個房產網站的經驗舉例,他們想提高Google廣告的註冊轉化率。
於是做了幾版設計,他們認為只要隱藏房產圖片的效果會更好,
結果同時隱藏房產圖片和價格的設計轉化率反而更好。
4、一起探索邊界
一個人的邊界太有限,因此最好的主意不是憋出來的,是一起探索出來的。
好的產品團隊應該擅長通過各種不同的新項目,推動跨團隊的協調和交流。
經常把設計師、工程師、產品經理、運營聚在一起,圍繞產品大開腦洞。
很多好的產品點子就是在測試了原型產品後,通過這樣的跨團隊討論迸發出來的。
5、關注用戶做什麼,而不是他們說什麼
當你和用戶直接對話時,請務必記住這個原則:用戶總是說一套做一套。
這週我親自做過的一次用戶測試,可以完美地證實這一點。
我問用戶,平時用通訊錄時會不會使用篩選功能,
用戶表示並不用,因為靠滾動就可以搞定,沒必要使用。
但在用戶看到這個新的篩選下拉菜單時,這個功能的便利性馬上吸引了他,
用戶迅速地學會了使用多種維度進行篩選,然後馬上問我們:「這個功能什麼時候能在產品裡用到?」
6、用戶數據的多少決定了你的成功機率有多少
有數據,才能分析用戶行為的背後原因。
數據能助你構築方案無需人肉撕逼,A/B測試可以告訴你哪個方案更有效。
原文出處/i黑馬網

Close Menu