Campaign Analytics — Phân tích chiến dịch
Kiểm định chuẩn cho thử nghiệm chuyển đổi, kèm khoảng tin cậy của mức chênh lệch tuyệt đối — thứ quan trọng hơn p-value.
Áp tỷ lệ gộp 3.250% cho cả hai nhánh sẽ cho 390 và 390 chuyển đổi. Khoảng cách giữa hai cặp cột chính là thứ z-test đang cân, và nó nhỏ hơn nhiều so với cảm giác khi đọc 'lift +17%'.
p là xác suất thấy chênh lệch ít nhất lớn thế này NẾU hai nhánh thực sự như nhau. Nó không phải xác suất B tốt hơn A, và không nói gì về độ lớn của hiệu quả.
Khoảng không chứa 0. Hãy đọc đầu thấp của khoảng: nếu mức đó vẫn đáng triển khai thì quyết định mới thực sự an toàn.
Cần khoảng 19,744 lượt mỗi nhánh mới đạt power 80% cho đúng mức chênh lệch này. Kết quả đạt ý nghĩa ở cỡ mẫu dưới ngưỡng thường là mẫu may, và lần đo lại sẽ nhỏ hơn.
Lift tương đối luôn nghe to hơn thực tế. Con số đi vào doanh thu là chênh lệch tuyệt đối +0.500% nhân với lưu lượng.
| Chênh lệch tuyệt đối | +0.5000% |
| Khoảng tin cậy 95% | +0.0514% tới +0.9486% |
| z | 2.1841 |
| Cỡ mẫu mỗi nhánh cho power 80% | 19,744 |
| Cảnh báo | Khoảng tin cậy không chứa 0 |
Áp tỷ lệ gộp 3.250% cho cả hai nhánh sẽ cho 390 và 390 chuyển đổi. Khoảng cách giữa hai cặp cột chính là thứ z-test đang cân, và nó nhỏ hơn nhiều so với cảm giác khi đọc 'lift +17%'.
Dải màu phủ qua mốc 0 nghĩa là dữ liệu chưa loại được khả năng hai nhánh bằng nhau. Đây mới là con số để ra quyết định kinh doanh, không phải p-value.
Tính lại chính kiểm định này ở từng cỡ mẫu, giữ nguyên mức chênh lệch quan sát được. Cỡ mẫu hiện tại 12,000 cho power 59%: chạy lại thử nghiệm nhiều lần thì phần lớn số lần sẽ ra kết quả khác.
| Lượt mỗi nhánh | Power cho chênh lệch hiện tại | Chênh lệch tối thiểu ở power 80% |
|---|---|---|
| 1,974 | 14.1% | +1.581% |
| 3,949 | 24.0% | +1.118% |
| 5,923 | 33.5% | +0.913% |
| 7,898 | 42.5% | +0.791% |
| 9,872 | 50.8% | +0.707% |
| 11,846 | 58.3% | +0.645% |
| 13,821 | 65.0% | +0.598% |
| 15,795 | 70.7% | +0.559% |
| 17,769 | 75.7% | +0.527% |
| 19,744 | 80.0% | +0.500% |
| 21,718 | 83.6% | +0.477% |
| 23,693 | 86.6% | +0.456% |
| 25,667 | 89.1% | +0.439% |
| 27,641 | 91.2% | +0.423% |
| Chênh lệch tuyệt đối | +0.5000% |
| Khoảng tin cậy 95% | +0.0514% tới +0.9486% |
| z | 2.1841 |
| Cỡ mẫu mỗi nhánh cho power 80% | 19,744 |
| Cảnh báo | Khoảng tin cậy không chứa 0 |
z = (p_B − p_A)/√(p̄(1−p̄)(1/n_A + 1/n_B))
Đây là công thức thật mà mã nguồn chạy, không phải mô tả gần đúng.
API tại /api/v1/tools/ab-test gọi đúng hàm
này, nên kết quả trên trang và qua API không thể lệch nhau.
Phân tích hiệu quả chiến dịch trả lời câu hỏi nhân quả: chiến dịch tạo ra bao nhiêu doanh thu tăng thêm so với không làm gì. So sánh trước–sau gần như luôn sai vì mùa vụ và xu hướng.
| Incremental ROAS | doanh thu TĂNG THÊM trên chi phí |
| Lift so với đối chứng | thước đo nhân quả |
| Chi phí trên chuyển đổi tăng thêm | chỉ số so sánh kênh |
Phần quan trọng nhất của trang này. Một phương pháp được mô tả mà không nói chỗ nó hỏng là phiên bản quảng cáo của phương pháp đó.
Chưa có mô hình nào gắn riêng cho chủ đề này. Đây là những mô hình của cả ngành — liên quan ở cấp ngành, không phải cấp chủ đề.
Phân tích hiệu quả chiến dịch trả lời câu hỏi nhân quả: chiến dịch tạo ra bao nhiêu doanh thu tăng thêm so với không làm gì. So sánh trước–sau gần như luôn sai vì mùa vụ và xu hướng.
1. Thiết kế thử nghiệm có nhóm đối chứng ngay từ đầu. 2. Nếu không thể thử nghiệm, dùng difference-in-differences hoặc synthetic control. 3. Tính doanh thu tăng thêm, không tính tổng doanh thu của nhóm tiếp cận. 4. Đo cả tác động dài hạn, không chỉ trong thời gian chạy chiến dịch.
Tính ROAS trên toàn bộ doanh thu của nhóm được tiếp cận — phần lớn số đó sẽ xảy ra dù không có chiến dịch. Retargeting có chỉ số đẹp nhất và giá trị tăng thêm thấp nhất, vì nó nhắm vào người vốn đã định mua.
Incremental ROAS — doanh thu TĂNG THÊM trên chi phí; Lift so với đối chứng — thước đo nhân quả; Chi phí trên chuyển đổi tăng thêm — chỉ số so sánh kênh.
Chưa xây dựng. Mục này hiện là điều hướng và tài liệu tham chiếu; chúng tôi không gắn nhãn 'live' cho thứ chưa chạy.