首頁 / B 素材與結構 / OPERATOR

你以為的 A/B 測試,可能不是 A/B 測試

核驗日期 2026-11-21 · B 素材與結構 · 老莊(Editor-in-Chief)
結論:投手圈子裡說的「做 A/B 測試」,多數指的是「多帳戶賽馬 + 複製贏家」,不是統計學上的 A/B 檢定。這兩件事目的不同、方法不同、能得到的結論也完全不同——把它們混用,最常見的後果是「拿噪音當結論」,然後把一個偶然贏的素材當成必勝公式放大。
本篇目錄一、先分清楚:這是兩種工具,不是同一種二、賽馬的真實做法(多數投手在做的事)三、賽馬的三個隱性成本(很少被算進去)四、把賽馬當統計,會犯兩個錯五、真要做驗證,需要四個條件六、官方口徑(2026-11-21 補記):平台自己給了三個數字七、建議的用法:兩個都要,但別混用八、這篇文章的缺口延伸閱讀

適用條件:你正在用「同時跑多組、選表現最好的」這種方式做素材或受眾決策。

核驗日期:2026-11-21(2026-11-19 初版,本次補入 Google 官方口徑)。本文為方法論層面的區分;「賽馬」的描述來自公開的投放實務討論,屬行業做法整理。


一、先分清楚:這是兩種工具,不是同一種

賽馬(探索) 統計檢定(驗證)
目的 找方向:哪個假設值得繼續投入 確認差異:這個差異是真的嗎
做法 同時跑多組,看誰的表現好 單變量對照,累積足夠樣本後比較
時間 短,通常 24–48 小時 長,依樣本量而定
結論強度 弱:只說「看起來不錯」 強:可以說「差異顯著」
失敗代價 浪費一些預算 決策建立在錯誤結論上
適合 素材方向、受眾輪廓、賣點假設 出價策略、結構調整、關鍵投放決策

關鍵差別在「結論強度」:賽馬給你的是方向感,統計給你的是判斷依據。用賽馬的結論去做需要判斷依據的決策,就是在賭。


二、賽馬的真實做法(多數投手在做的事)

典型流程是這樣:

  1. 橫向複製:把一支素材複製成 5–10 份相似的版本(或幾個不同賣點)
  2. 分散投放:分到不同帳戶、不同受眾、不同版位
  3. 跑 24–48 小時
  4. 選贏家:把表現最好的那個複製到所有帳戶,輸家關掉

這套流程真正在做的事,是「快速篩掉明顯不好的」,不是「證明哪個更好」。 它的價值在於效率——用很低的成本,把明顯不對的方向砍掉。

它不做的事:不做統計推論、不控制變量、不計算樣本量。這不是投手不專業,這是工具本身的定位。


三、賽馬的三個隱性成本(很少被算進去)

成本 怎麼產生 影響
重複消耗 多組同時跑,其中大部分最終會被淘汰 這段時間的預算是「學費」,不是「投放」
受眾重疊 多組打同一批人,自己跟自己競價 單位成本上升,且勝負難分
學習期重置 每次複製到新帳戶/新單元,都重新開始學 在學習期內的表現,不代表長期表現

第三條最關鍵:新複製的單元在學習期內的表現,不是它的真實水準。 很多人「複製贏家」之後發現效果掉了,就認為「贏家不穩定」——其實是它還沒學完。


四、把賽馬當統計,會犯兩個錯

錯一:拿噪音當結論

24–48 小時的差異,多數時候是噪音。 同一個素材在不同時段、不同受眾池、不同競價環境下,表現本來就會波動。在樣本不足時,「A 比 B 好 30%」很可能只是隨機波動。

判斷方法:如果差距小於你過去觀察到的日常波動幅度,那它就不是差異,是波動。

錯二:把「帳戶差異」當成「素材差異」

賽馬是跨帳戶跑的。不同帳戶的歷史、受眾池、成熟度都不同——贏的那一組,可能只是因為它跑在一個更好的帳戶裡。

這就是為什麼「換帳戶再跑一次,結果就變了」:你測到的不是素材,是帳戶。


五、真要做驗證,需要四個條件

條件 意思 沒做到會怎樣
單變量 一次只改一個東西 不知道是哪一項造成的差異
足夠樣本 依你的基準轉換率與想偵測的差距計算 差異淹沒在噪音裡
足夠時間 覆蓋至少一個完整週期(含平日與假日) 週末效應被誤讀成素材效應
不中途看 中途查看會導致提前停止,扭曲結論 得到一個「看起來顯著」的假結論

第四條最難做到,因為實務上沒人忍得住不看。但中途反復查看並在「看起來好」時停止,會系統性地高估效果——這是統計上的已知現象,不是玄學。

樣本量無法給一個通用數字:它取決於你的基準轉換率與你想偵測的最小差距。基線越低,需要的樣本越大。 任何給你「固定 1000 次點擊就夠」的說法,都忽略了你自己的基線。


六、官方口徑(2026-11-21 補記):平台自己給了三個數字

這一節是本文初版最大的缺口補上了。2026-11-19,Google 在其官方播客與部落格(Ads Decoded,由 Ginny Marvin 對談產品負責人 Sagar Shah、Al Nevarez)公布了建構 A/B 測試的三條規則,並指向 Google Ads 的 Experiments(實驗)分頁。三條規則如下(出處:Google Ads & Commerce 官方部落格,2026-11-19):

官方規則 原文要點 對應我們前面的哪一節
從模板化設置開始 用預建模板,只隔離單一變數、50/50 分流,減少設置錯誤 第五節「單變量」
看業務結果 衡量合格轉化(qualified conversions),不要用淺層代理指標;給測試 4–6 週以覆蓋轉化延遲 第五節「足夠時間」
信心度匹配決策規模 80% 信心區間用於方向性微調;95% 只留給重大的結構性改造 本文的核心區分

這三個數字的重要性,在於它們把「賽馬」與「檢定」的邊界畫出來了:

  1. 80% 不是「標準放寬」,是「把風險限定在可逆的小改動上」。 換一張圖、改一句標題這類可逆的微調,用 80% 就夠;一旦錯了代價是重搭帳戶結構、換出價策略,那 20% 的錯誤機率不能省,要 95%。
  2. 「4–6 週」是官方給的觀察期區間,理由寫得很清楚:轉化本身有延遲。這句話可以直接拿去回覆「七天就知道結果」的要求——不是投手不肯快,是轉化還沒回來。
  3. 「合格轉化」是口徑問題,不是技術問題。 如果你的轉化事件把「加購」和「付款」算成同一個,那再嚴謹的檢定也是在檢定錯的東西。

一個必須自己補的洞:官方給的是方法與門檻,不是樣本量。4–6 週只解決「時間夠不夠」,不解決「量夠不夠」——低基線的帳戶,六週也可能累積不到可判定的樣本。時間與樣本,兩個都要滿足。


以下一節回到「怎麼選工具」。

七、建議的用法:兩個都要,但別混用

你要做的事 用哪個
這季要試哪些賣點、哪些受眾輪廓 賽馬(快、便宜、方向感)
這支素材是不是真的比那支好 統計檢定(慢、貴、但可信)
出價策略要不要換 統計檢定(錯了代價太大)
素材快沒了,先補哪一批 賽馬
要對外說明「我們測過」 統計檢定(賽馬的結論撐不起這種說法)

一句話:日常用賽馬找方向,關鍵決策用統計確認。 兩者不是替代關係,是先後關係。

還有兩個常被跳過的環節,值得補上: - 賽馬前去重:先確認幾組之間受眾不重疊,否則你在自己跟自己競價,勝負沒有意義。 - 賽馬後的增量判斷:贏家複製到全部帳戶之後,整體是否真的變好?很多時候只是「把錢從 A 挪到 B」,總量沒變。


八、這篇文章的缺口


延伸閱讀


常見問答(FAQ)

Q1:同時跑五組選最好的,這樣算 A/B 測試嗎? 嚴格說不算。那是賽馬(探索),目的是找方向,不做統計推論。它可以篩掉明顯不好的,但不能證明「哪個更好」。

Q2:24 小時就分出勝負,可信嗎? 多數情況不可信。短時間的差異常是噪音,還會受時段、受眾池、競價環境影響。差距若小於日常波動幅度,就不是差異。

Q3:為什麼「複製贏家」之後效果就掉了? 可能兩個原因:新單元還在學習期(表現不代表長期),或原本的「贏」其實是帳戶差異而不是素材差異。

Q4:那到底要不要做嚴謹的 A/B? 看決策的重要性。出價策略、結構調整這類錯了代價大的,值得做;素材方向這種快速試錯的,賽馬效率更高。

Q5:樣本量要多少才夠? 沒有通用答案。它取決於你的基準轉換率與想偵測的差距——基線越低,需要樣本越大。任何給固定數字的說法都不適用於你的帳戶。

Q6:官方說 80% 信心就夠,是不是可以放寬標準? 不是放寬,是分級。80% 適用於可逆的方向性微調(換圖、改標題);結構重搭、換出價策略這類不可逆的改動,官方仍要求 95%。把 80% 用在錯的決策上,等於接受 20% 的機率把帳戶改壞。

Q7:官方說給 4–6 週,是不是等夠時間就一定對? 不是。4–6 週解決的是「轉化延遲」,不解決「樣本不足」。低基線帳戶可能六週也累不到可判定的量;時間與樣本兩個條件要同時滿足。


文/細科普編輯部(老莊)|核驗日期 2026-11-19|本文不構成投放建議

風險告知:本文為方法論區分,非平台官方定義,各平台實驗工具與統計方法不同。SaaS 方僅提供知識,不替客戶決策、不承擔任何投放、平台或合規後果。

← 轉換事件重複上報:它不會報錯,所以最難發現廣告學習期:什麼時候該等,什麼時候該改 →