A/B Test 實驗工具箱

實驗前：每組需要多少樣本？

依基準轉換率、想偵測的最小效果（MDE）、顯著水準與檢定力，估算雙尾兩比例 z 檢定所需的樣本數。MDE 用絕對百分點：基準 10%、MDE 2，代表要能偵測 10% → 12%。

基準轉換率（%）

MDE（百分點）

顯著水準 α

檢定力（%）

每日可分流訪客

每組樣本數—A、B 各自至少收集

總樣本數—50 / 50 分流

預估天數—輸入每日訪客後估算

n = [ z(1−α/2) · √(2p̄(1−p̄)) + z(power) · √(p₁(1−p₁) + p₂(1−p₂)) ]² ÷ (p₂ − p₁)² p̄ = (p₁ + p₂) / 2

這是獨立訪客、平均分流下的下限。實際排期要涵蓋完整的週期（至少一週，避開大型活動），並預留流量品質與漏送的緩衝。

真的有效果也很可能測不出來；這時「不顯著」只代表看不清楚，不代表沒有效果。寧可先調大 MDE 或延長期間，也不要提早結束。