不久前，人工智能(AI)和機器學習(ML)大張旗鼓地出現，有時甚至有些誇張。社會仍在爭論人工智能是否最終導致人形機器人決心毀滅我們所有人．幸運的是，在營銷方麵，隻是複雜的算法幫助營銷人員更好地完成他們的工作。
在這方麵已經取得了一些進展。隨著炒作和偏執的消失，我們剩下的是一種能夠提供大量價值的技術——但前提是你必須深思熟慮地對待它。本著這種精神，讓我們來看看Braze預測套件，幫助品牌更好地識別和創造基於傾向進行某些未來行動的客戶細分，並確保這些工具的輸出是準確和可操作的工作。
我們在Braze的智能團隊開發了預測性套件，以幫助營銷人員利用AI/ML更好地了解客戶，並更好地執行他們的溝通策略。manbetx万博全站客户端但就像營銷環境中的任何數學工具一樣，這些工具隻有在產生實際結果的情況下才能增加價值。營銷人員不應該滿足於假裝的AI或糟糕的AI。我們希望我們的客戶最大限manbetx万博全站客户端度地獲得自己的成功，並讓我們保持誠實。
因此，在開發預測性套件的過程中，我們發現實現這兩個目標的唯一可行方法是:
根據客戶的需求提供定製的預測模型manbetx万博全站客户端
確保這些模型是準確的之前manbetx万博全站客户端客戶利用它們
優先的透明度
第一個進球很棘手。我們能夠解出來一些複雜性通過兩次檢查每個模型預測的準確性——這個過程被稱為“驗證”——來檢測數據中任何意外的中斷或問題。(我們稍後會講到什麼是檢查預測的準確性)。值得慶幸的是，實現這個目標有助於明確我們如何實現第二個目標:也就是說，我們可以與有問題的客戶共享給定預測的驗證結果，允許他們看到模型預測精度的未經過濾的度量。
下麵是它在實踐中的樣子:
客戶首先在Braze儀表板上構建一個預覽預測，使用他們的用戶流失的自定義(例如，14天沒有參與vs. 7天沒有購買)或購買的自定義。
Braze會自動創建預測，測量其預期準確度立即與曆史數據，等待一個客戶定義的預測窗口，然後檢查準確性再一次與實際結果相反。
接下來，預期的和實際的準確性都將通過儀表板上的預測質量指示器與您共享。
這是令人興奮的部分——在你的品牌購買預測性套件或利用它來發送一條信息之前，以上所有的事情都可以完成。另外，我們不斷地重新驗證這些預測，所以如果預測性能有任何下降，我們會讓您知道。
我們如何衡量準確性
考慮到這一點，一個明顯的問題出現了:究竟如何衡量預測的準確性?
假設我們有一個預測器(就像Braze預測套件中的預測器)，它試圖確定給定用戶在未來是否會進行購買。預測器將獲取該用戶的數據，通過相關的算法，然後輸出一個傾向分數．然後，你可以評估哪些分數應該被視為達到“願意購買”分數的水平，哪些分數你將考慮“不願意購買”。例如，根據這些分數，我們可以隻向那些購買可能性分數高於你所選擇的閾值的用戶發送特別促銷信息。(詳見下文，了解Braze儀表盤如何幫助您確定最佳閾值。)
在此場景中，這是預測—特定用戶是否在未來進行購買。如果我們在最初創建預測器時使用曆史數據，我們也會知道真實的結果;也就是說，我們可以預測某個用戶是否會進行購買，然後看看他們實際做了什麼，看看預測是否會實現。
可能的預測和可能的實際結果可以一起使用，形成一個所謂的“混淆矩陣”，其中行表示Braze預測了什麼，列反映用戶實際做了什麼:
有許多方法可以量化這些不同的結果(並且，在這樣做時，量化預測器本身的準確性):敏感性,特異性，精度，回憶，陽性預測值，錯誤發現率,很多很多．每個指標通常對應上表中描述的各種結果的不同比例，不同的衡量標準強調(或不強調)不同類型結果的重要性。
如果您想要確定利用給定的預測是否最終有助於提高您的底線，那麼了解您想要最大化(和最小化)哪些指標，以及每個可能結果的成本/收益是至關重要的。在這個意義上，它可以與假定值對於A/B測試實驗，也就是說，它提供了一個數字，可以告訴您，當涉及到一個給定的預測時，您是否有一些真正有益的東西。
在實踐中測量預測精度
對於使用Braze Predictive Suite做出的每個預測，我們都提供了一個名為預測質量(Prediction Quality)的指標，用於描述該預測在模擬器中所有可能的消息受眾中檢測真實陽性的能力。這提供了一個簡單的0-100範圍內的單一彙總數字，提供了一個整體的圖像，與猜測相比，這個預測提供了多大的提升。這個指標在創建Prediction時根據曆史數據計算一次，然後再根據實際用戶結果計算一次，這樣就可以跟蹤準確性。(有關如何計算預測質量指標的詳細信息，訪問我們的文檔．)
話雖如此，一個具體的例子將有助於說明這一切在實踐中意味著什麼。特別地，我們需要考慮這裏的真陽性和假陽性，以便能夠深思熟慮地決定如何在你的策略中使用預測。
在上麵的例子中，我們與大約50萬可能進行購買的用戶合作。如果我們隻向購買可能性得分在75分或以上的用戶發送消息，那麼我們將獲得26541名用戶。根據這些用戶的曆史購買行為和預測的準確性，我們估計這些用戶中大約有11000人將成為購買者——正如綠色進度條顯示的，這隻占所有購買者的25%左右。因此，這個百分比就是真實的陽性率。
紅色的進度條給了我們一個額外的關鍵信息，也就是說，這個設置也將針對15,385名不願購買的用戶，盡管我們的目標是這個群體中最有可能購買的人。這些用戶是假陽性:也就是說，那些預測告訴我們會進行購買，但實際上不會的人。在這種情況下，在44.7萬名不願購買的用戶中，隻有約1.5萬人會收到消息，約占3.3%。雖然這個比例很低，但你的特定受眾和業務模式會告訴你，這個錯誤是否可以接受。
這隻是其中一種可能的方法。或者，您可以選擇向所有購買可能性得分為50分或更高的用戶發送消息。這將確保你能接觸到總用戶中90%的實際購買者(如綠色進度條所示)——大約4萬名用戶。然而，你還將向超過23萬的用戶發送信息，如紅色條所示;這是超過一半的非購買者。
這種方法值得嗎?這取決於你的用戶，你的消息策略，任何促銷或激勵措施的成本，與額外購買相關的好處，這種促銷改變用戶行為的可能性，以及所有其他可能與你的業務相關的變量。從本質上講，這是一種成本與收益的權衡，儀表板中的選擇器允許您模擬不同的場景，並針對不同的結果進行計劃，以選擇最適合您的品牌的方法。
從長遠來看，有必要對你可能利用的任何預測進行這種分析，不管它可能有多準確，因為AI無法訪問你所知道的所有上下文和業務邏輯。
最終的想法
其中一些概念——比如真陽性和假陽性——對你來說可能是新的。但隨著AI/ML在現代客戶參與中變得越來越重要，我們預計它們最終會像p值這樣的概念一樣無處不在。因此，我們這些在Braze的人正在努力使這些工具和概念盡可能容易地付諸實踐。
想知道預測性套件在實踐中是如何為其他品牌服務的嗎?看看這個領先品牌如何交付英雄8fit使用的是預測性流失和預測性購買，以幫助實現他們的業務目標。
