營銷極客們像你和我,沒有什麼可以讓血液流動的A / B測試。他們快速運行的深深滿足看結果流。一旦我們開始,我們的比賽,很難想象我們是怎麼沒有的。隻要我們能做的這一切:打兩盤我們的人生大決定立刻看到哪些選擇是正確的。
但是沒有仔細考慮,A / B測試可以變成浪費我們寶貴的時間。下麵是如何獲得最大的A / B測試。
A / B測試是什麼?它是如何工作的呢?
A / B測試允許您測試經驗或消息是否可以改進。在A / B測試,你目前的用戶提供一個站點的兩個版本,應用程序,或特性(A和B)版。執行最好的版本,不管什麼度量你跟蹤,獲勝。
可以測試任何東西:按鈕,字體,呼籲行動,編輯內容風格,甚至層次細節像滾動速度,通過將前一個版本第一組的用戶,通常控製(A)和(B)變體的第二組的用戶。流量隨機盡可能隻變異測試是變體的一個改變你可以測試多個變量和/或多個變種,這被稱為多變量測試另一個主題。
使用A / B測試來測試一個假設
使用A / B測試來測試主觀與客觀的想法如何解決一個問題,基於數據的證據,以確認是否想法是合理的。
做得好,A / B測試遵循一個基本配方。首先你想解決的問題。也許你有數據或用戶的研究表明,有一個問題,或者僅僅是一個消息靈通的預感來自產品和受眾的知識。
接下來,開發一個假設確定什麼似乎是最好的解決你的問題。然後,運行您的測試收集實證證據表明,最終將證明或駁斥你的假設。最後,根據你學過的東西采取行動。
如何尋找在你進行A / B測試
在托克維爾的美國字符(1835年的研究論美國的民主),他寫道,在美國”,public opinion is divided into a thousand minute shades of difference upon questions of very little moment.”
德當然,托克維爾可能不知道有關他的言論如何成為數字和移動營銷的上下文中。一些結果根本不值得發掘他們的時間。知道什麼時候該A / B測試,當你的時間花在別的地方可能會更好。
4理由不運行測試
1。時不要A / B測試:你還沒有有意義的交通
A / B測試已經變得如此普遍,很難想象沒有它的世界移動或產品開發。然而,跳入水池深度的測試之前,你已經得到了你的腳踝濕可能是一個錯誤。
統計學意義是一個重要的概念在測試。通過測試一個足夠大的群體的用戶,你將確定的平均用戶更喜歡和不太可能偏好您識別實際上是抽樣誤差的結果。
你有沒有看到運動因為用戶實際上更喜歡控製的變異嗎?或者,例如,你在不知情的情況下為變種人愛貓和B變種人討厭漢堡,這意味著你的結果實際上並沒有告訴你任何關於你的普通用戶?來防止這種抽樣誤差,你需要一個統計上顯著的樣本大小。你怎麼找到你的結果是否足以支持行動?數學!
你可以使用這個免費的A / B意義計算器(或者這一次,如果你喜歡)。每一個計算器比較雙方的遊客和轉換你的A / B變種,一堆後台數學嗎,給你一個“置信度”表示為一個百分比,讓你知道你的測試有或沒有產生結果,你可以自信地行動。
測試你會產生巨大的差異與低流量轉化率通常是可行的,但是測試小變化,就像一個按鈕的顏色,你需要一個更大的樣本量。如果你擔心,盡情發揮這個計算器,看看你的交通在它應該在的地方在你運行A / B測試。
如果你沒有足夠的用戶告知有意義的結果,你的努力會是更好吸引更多的顧客,而不是嚐試。manbetx万博全站客户端如果你決定繼續運行測試,而你的用戶群還小,你可能需要把測試住好幾個星期之前,你會看到有意義的結果。
2。不要A / B測試:你不能安全地花時間
安德魯•科恩TechStars Brainscape的創始人和CEO,講師和大會,說,”對比測試隻是一個表演管理任務,無論多麼廉價和有效的A / B測試插件…。有人需要投入自己的時間來確定測試,設置測試和驗證和實施測試的結果。”
雖然可以相對輕鬆地執行這些任務,科恩解釋說,它仍然需要大量的,“精神帶寬,這是最為稀缺的資源在任何公司(特別是早期創業公司)。”
花時間預先決定你應該測試什麼,所以你最好的利用你的A / B測試的時間。
3所示。別A / B測試:你還沒有一個消息靈通的假設
收集信息。確定你的問題。定義一個假設。然後測試,看看你是對的。將A / B測試像真正的科學!一個好的科學家從未開始實驗一個假設。
定義你的假設,知道你想解決的問題,確定一個轉換的目標。例如,假設你的客戶傾向於下降在一定程度上轉化漏鬥。manbetx万博全站客户端
問題:客戶項目加載到他們的manbetx万博全站客户端車,但從未完成購買過程。
根據一些市場研究和自己的消息靈通的判斷,你相信,如果你添加一個按鈕,說:“完成購買,”您將能夠增加轉換。同樣重要的是定義你的成功指標。什麼最小的增加在轉換,你很樂意看到?(為什麼這個數字?這是什麼意思你的業務作為一個整體來贏得增加嗎?)這關係到你統計顯著性計算。對於這個示例,假設您想要增加20%的轉換效率。
科學假說是通常用如果/那麼格式寫的。所以你的假設變成了。”如果我添加一個“完成購買”按鈕,然後20%多的人會堅持購買過程。”
在你的測試結束時,你要做出一些決定。如果你的測試是積極的和確認你的假設,恭喜你!你贏了。你的假設現在是證明理論(證明在置信水平比例你實現,當然)。如果你的業務足夠敏捷,你可以馬上建立一個永久性的解決方案。您可能希望保持測試較小的變異是否有更多的提升空間在你的第一個成功。
如果您的測試是負的,,你的假設沒有擊中目標,你也贏了!這意味著你控製是獲勝的公式,您可以一直使用它與信心。雖然,您可能希望測試不同的變體,如果你沒有得到你所需要的結果。是否有另一種方法來解決你的問題,並開發一個新的假設。
如果您的測試是不確定的,重新審視你的問題。你確定疼痛點是你認為它在哪裏嗎?你有足夠的流量通知統計上顯著的結果嗎?記住,答案怎麼了你的產品不一定是在A / B測試。
4所示。A / B測試:沒有馬上采取行動的低風險
林恩王營銷主管Apptimize說”,A / B測試應該跳過了在你的情況下知道一個想法幾乎肯定會提高你的應用和相關的風險…實現這個想法很低。”她補充道,“沒有理由花費時間和資源來測試可能是好的,有低風險的東西。跳躍實現是完全可取的。”
這是特別有用記住如果你時間是稀缺的。記住,一個給定的結果可能是正確的,同時,它可能不重要。
一個好的工具僅僅是一樣有用的智能應用程序
A / B測試是一個不可思議的資源。聰明,簡單的行動基於明確的就是實用的測試結果整個數字景觀一舉成功。成功的企業知道的時候要有耐心,並運行一個有意義的測試。他們也知道當依靠他們的直覺或其他來源的信息,和前進沒有長期的安全網或過早測試時期,實際上不會增加任何價值。
