跳轉到內容
看看我們新的開發人員門戶加入Braze開發者社區!

使用Braze創建多元和A/B測試

您可以創建多變量或A/B檢驗任何針對單一頻道的宣傳活動。

第一步:創建你的活動

點擊創建活動並從允許多元和a /B測試的部分中為活動選擇一個渠道。有關每個消息傳遞通道的詳細文檔,請參閱創建一個活動

步驟2:編寫變體

您最多可以創建8種消息變體,區分標題、內容、圖像等。消息之間的差異數量決定了這是一個多變量測試還是a /B測試。A/B測試檢查改變一個變量的影響,而多元測試檢查兩個或更多。

有關如何開始區分您的變體的一些想法,請參考不同渠道的小貼士

第三步:安排你的活動

安排你的多元活動與安排任何其他Braze活動是一樣的。所有標準交付類型是可用的。

步驟4:選擇一個段,將用戶分布到不同的變量中

選擇目標段,然後將其成員分布到所選變量和可選變量中對照組.有關選擇要測試的段的最佳實踐,請參見選擇一個環節

對於計劃發送一次的推送、電子郵件和webhook活動,您也可以使用優化.這將從a /B測試中保留一部分目標用戶,並基於第一次測試的結果進行第二次優化發送。

對照組

你可以將目標受眾中的一定比例作為隨機對照組。對照組的用戶不接受測試,但Braze會在整個活動期間監測他們的轉化率。

在查看結果時,您可以將變量的轉化率與對照組提供的基線轉化率進行比較。這使您可以將變量的效果和變量的效果與完全不發送消息時的轉化率進行比較。

A/B測試麵板,顯示控製組、變體1、變體2和變體3的百分比分解,每組25%。

智能選擇控製組

一個運動的控製組的規模聰明的選擇是基於變量的數量。如果每個變體發送給20%以上的用戶,那麼控製組是20%,而變體則平均分配到剩下的80%。然而,如果你有足夠多的變量,每個變量發送給不到20%的用戶,那麼控製組就必須變小。一旦Intelligent Selection開始分析測試的性能,控製組就會根據結果增加或減少。

優化

對於計劃發送一次的電子郵件、推送和webhook活動,您可以選擇一次優化。有兩種優化選項:贏得變體而且個性化的變體(早期訪問)。

在選擇目標用戶時,A/B測試部分列出的優化選項。列出了三個選項:無優化、獲勝變體和個性化變體。選擇個性化變體。

這兩種選擇都是通過向目標細分市場的一定比例發送初始測試。在測試結束後,用戶中的其餘用戶將收到表現最好的變體(獲勝變體)或他們最可能使用的變體(個性化變體)。

發送獲勝的變體類似於標準的a /B測試。一旦初始測試完成,該組的用戶將收到獲勝的變體。

  1. 選擇贏得變體,然後指定你的競選觀眾的百分比應該分配給獲勝的變體組。
  2. 配置以下附加設置。
描述
優化指標 要優化的指標。之間做出選擇獨特的打開點擊對於電子郵件,打開對於push,或初級轉化率所有頻道。選擇打開點擊決定獲勝者不影響你為活動的選擇轉換活動

請記住,如果您正在使用一個控製組,控製組中的用戶就不能執行操作打開點擊,所以對照組的表現是有保證的0.結果,對照組無法贏得a /B測試。但是,您可能仍然希望使用一個控製組來跟蹤沒有收到消息的用戶的其他指標。
初始測試開始日期 初始測試開始的日期和時間。
初始測試結束日期 初始測試結束的日期和時間。這是將獲勝的變體發送給剩餘用戶的時候。

當發送用戶的本地時間或智能定時時,勝出變體必須在A/B測試後至少24小時發送,以確保交付給勝出變體組中的所有用戶。
回退 如果沒有一個變量以統計上的顯著優勢獲勝會發生什麼。選擇發送性能最好的變體,或者結束測試並且不發送任何進一步的消息。

使用個性化的變體,向目標細分市場的每個用戶發送他們最有可能參與的變體。

為了確定每個用戶的最佳變體,Braze將向一部分目標用戶發送初始測試,以查找用戶特征和消息首選項之間的關聯。基於用戶在初始測試中對每個變量的響應,這些特征用於確定哪些剩餘用戶將獲得每個變量。如果沒有找到關聯,也不能進行個性化設置,則會自動將獲勝的變體發送給剩餘的用戶。要了解更多關於如何確定個性化變體的信息,請參考多元和A/B測試分析

  1. 選擇個性化的變體,然後指定您的活動觀眾的百分比應該分配到個性化變體組。
  2. 配置以下附加設置。
描述
優化指標 要優化的指標。之間做出選擇獨特的打開點擊對於電子郵件,打開對於push,或初級轉化率所有頻道。選擇打開點擊決定獲勝者不影響你為活動的選擇轉換活動

請記住,如果您正在使用一個控製組,控製組中的用戶就不能執行操作打開點擊,所以對照組的表現是有保證的0.結果,對照組無法贏得a /B測試。但是,您可能仍然希望使用一個控製組來跟蹤沒有收到消息的用戶的其他指標。
初始測試開始日期 初始測試開始的日期和時間。
初始測試結束日期 初始測試結束的日期和時間。這是將個性化的變體發送給剩餘用戶的時候。我們建議24小時作為基線,以確保統計上顯著和有意義的結果。你給測試的時間越多,收到的回複就越多,Braze可以優化的也就越多。這對於電子郵件活動尤其重要。個性化變體的初始測試不應少於4小時。

當發送用戶的本地時間或智能定時時,個性化變量必須在A/B測試後至少24小時發送,以確保交付給個性化變量組中的所有用戶。
回退 如果沒有找到個性化的變異會發生什麼。選擇是發送獲勝的變體,還是結束測試而不發送任何進一步的消息。

步驟5:指定轉換事件(可選)

為活動設置轉換事件可以讓您查看該活動的多少收件人在收到特定操作後執行了該操作。

這隻會影響您選擇的測試初級轉化率在前麵的步驟中。有關更多信息,請參見轉換活動

步驟6:檢查和啟動

在確認頁麵上,查看您的多元活動的細節並啟動測試!接下來,學習如何做理解您的測試結果

注意事項

不同渠道的小貼士

根據您選擇的渠道,您將能夠測試消息的不同組件。試著用你想要測試的內容和你希望證明的內容來組成變體。

你需要拉動什麼杠杆,想要的效果是什麼?雖然你可以使用多元和a /B測試研究數百萬種可能性,但我們有一些建議可以幫助你開始:

通道 你可以改變信息的哪些方麵 尋找的結果
複製
圖片和表情符號的使用
深度鏈接
數字的表述(例如,“三倍”與“增加200%”)
時間的表示(例如,“結束於午夜”與“結束於6小時”)
打開
轉化率
電子郵件 主題
顯示名稱
稱呼
廣告正文
圖片和表情符號的使用
數字的表述(例如,“三倍”與“增加200%”)
時間的表示(例如,“結束於午夜”與“結束於6小時”)
打開
轉化率
應用消息 為“推送”列出的方麵
消息格式
點擊
轉化率

此外,測試的理想長度也可能因頻道而異。記住大多數用戶在每個渠道上投入的平均時間。

例如,如果你在測試推送,你可能比測試電子郵件更快地獲得顯著的結果,因為用戶可以立即看到推送,但他們可能需要幾天才能看到或打開電子郵件。如果你正在測試應用內部消息,請記住用戶必須打開應用才能看到活動,所以你應該等待更長的時間,以便從最活躍的應用打開者和更典型的用戶那裏收集結果。

如果您不確定您的測試應該運行多長時間,則聰明的選擇特征可以有效地找到獲勝的變體。

選擇一個環節

由於不同的用戶群體對消息傳遞的響應可能不同,因此一條特定消息的成功與否說明了消息本身及其目標群體的一些情況。因此,在設計測試時要考慮到你的目標人群。

例如,雖然活躍用戶對“此協議明天到期!”和“該協議24小時後到期!”,一個星期沒有打開應用程序的用戶可能對後一種措辭更有反應,因為它產生了更大的緊迫感。

此外,當選擇在哪個段上運行測試時,一定要考慮該段的大小是否足夠大,適合您的測試。一般來說,多變量和A/B檢驗需要更大的檢驗組才能獲得統計上顯著的結果。這是因為變量越多,看到每個變量的用戶就越少。

這個頁麵有幫助嗎?
新東西!
Baidu
map