AutoML — Tự động hoá mô hình
Thử càng nhiều thì càng dễ tìm ra thứ 'có ý nghĩa' hoàn toàn do ngẫu nhiên. Đây là cùng một vấn đề với Deflated Sharpe trong trading, chỉ khác tên gọi.
BH cắt ở điểm CUỐI CÙNG mà đường p còn nằm dưới đường α·i/m, rồi giữ lại toàn bộ phần trước đó. Đường thứ tư là vị trí trung bình của p-value khi không có hiệu ứng nào tồn tại — p nằm dưới hẳn đường đó mới là dấu hiệu có tín hiệu thật.
Đây là toàn bộ vấn đề: chạy nhiều kiểm định thì 'có ý nghĩa' trở thành chuyện thường. Con số kỳ vọng α·m không phụ thuộc vào dữ liệu, chỉ phụ thuộc vào việc bạn đã thử bao nhiêu lần.
Bonferroni kiểm soát xác suất mắc DÙ CHỈ MỘT sai lầm. Nó đúng nhưng rất chặt: với m lớn, hiệu ứng thật vừa phải cũng bị loại.
BH chấp nhận rằng khoảng 5% trong nhóm được chọn là sai, đổi lại giữ được nhiều phát hiện thật hơn. Đó là lựa chọn đúng khi bước sau còn có kiểm chứng, và là lựa chọn sai khi kết luận này đi thẳng vào sản xuất.
So với ngưỡng Bonferroni 0.005000. Cùng một p-value có thể là phát hiện chắc chắn khi thử một lần và là nhiễu khi thử hàng nghìn lần — bối cảnh quyết định, không phải con số.
| Ngưỡng Bonferroni | 0.005000 |
| Ngưỡng BH | 0.015000 |
| Kỳ vọng dương tính giả nếu không hiệu chỉnh | 0.5 |
| Bonferroni | kiểm soát xác suất có ÍT NHẤT một sai — rất chặt |
| BH | kiểm soát TỶ LỆ sai trong nhóm được chọn — thực dụng hơn |
BH cắt ở điểm CUỐI CÙNG mà đường p còn nằm dưới đường α·i/m, rồi giữ lại toàn bộ phần trước đó. Đường thứ tư là vị trí trung bình của p-value khi không có hiệu ứng nào tồn tại — p nằm dưới hẳn đường đó mới là dấu hiệu có tín hiệu thật.
Cột cuối là α·m = 0.5: số kết quả 'có ý nghĩa' bạn sẽ thu được kể cả khi không có hiệu ứng nào tồn tại. So nó với cột đầu trước khi tin cột đầu.
| Hạng i | p-value | Ngưỡng BH α·i/m | Ngưỡng Bonferroni | Kết luận |
|---|---|---|---|---|
| 1 | 0.001000 | 0.005000 | 0.005000 | qua cả hai |
| 2 | 0.008000 | 0.010000 | 0.005000 | chỉ qua BH |
| 3 | 0.012000 | 0.015000 | 0.005000 | chỉ qua BH |
| 4 | 0.021000 | 0.020000 | 0.005000 | bị loại |
| 5 | 0.035000 | 0.025000 | 0.005000 | bị loại |
| 6 | 0.040000 | 0.030000 | 0.005000 | bị loại |
| 7 | 0.060000 | 0.035000 | 0.005000 | bị loại |
| 8 | 0.110000 | 0.040000 | 0.005000 | bị loại |
| 9 | 0.230000 | 0.045000 | 0.005000 | bị loại |
| 10 | 0.470000 | 0.050000 | 0.005000 | bị loại |
| Ngưỡng Bonferroni | 0.005000 |
| Ngưỡng BH | 0.015000 |
| Kỳ vọng dương tính giả nếu không hiệu chỉnh | 0.5 |
| Bonferroni | kiểm soát xác suất có ÍT NHẤT một sai — rất chặt |
| BH | kiểm soát TỶ LỆ sai trong nhóm được chọn — thực dụng hơn |
Bonferroni: p ≤ α/m · BH: p₍ᵢ₎ ≤ α·i/m
Đây là công thức thật mà mã nguồn chạy, không phải mô tả gần đúng.
API tại /api/v1/tools/multiple-testing gọi đúng hàm
này, nên kết quả trên trang và qua API không thể lệch nhau.
1.234.567 lẫn 1.234,56.AutoML tự động hoá việc chọn mô hình, tiền xử lý và siêu tham số. Nó rút ngắn đáng kể thời gian tới baseline tốt, nhưng không thay được ba việc quan trọng nhất: đặt đúng bài toán, thiết kế đúng cách chia dữ liệu, và hiểu chi phí của từng loại sai lầm.
| Chỉ số mục tiêu | do bạn chọn, không do công cụ chọn |
| Số cấu hình đã thử | đầu vào bắt buộc để đánh giá overfit |
Phần quan trọng nhất của trang này. Một phương pháp được mô tả mà không nói chỗ nó hỏng là phiên bản quảng cáo của phương pháp đó.
Chưa có mô hình nào gắn riêng cho chủ đề này. Đây là những mô hình của cả ngành — liên quan ở cấp ngành, không phải cấp chủ đề.
Cơ chế attention, nắm quan hệ xa.
Tích chập nhân quả với receptive field kiểm soát được.
Sharpe sau khi phạt vì số lần thử và độ lệch/nhọn của đuôi.
Tỉ lệ cấu hình thắng in-sample lại xếp dưới trung vị ngoài mẫu.
Nhãn trạng thái gắn theo thực tế.
AutoML Platform sắp có Tự động chọn và huấn luyện mô hìnhAutoML tự động hoá việc chọn mô hình, tiền xử lý và siêu tham số. Nó rút ngắn đáng kể thời gian tới baseline tốt, nhưng không thay được ba việc quan trọng nhất: đặt đúng bài toán, thiết kế đúng cách chia dữ liệu, và hiểu chi phí của từng loại sai lầm.
1. Chuẩn bị dữ liệu và định nghĩa chỉ số trước khi chạy AutoML. 2. Cấu hình cách chia dữ liệu đúng với bài toán — đặc biệt với chuỗi thời gian. 3. Giới hạn ngân sách tìm kiếm và ghi lại số cấu hình đã thử. 4. Kiểm định kết quả tốt nhất trên tập chưa từng dùng.
AutoML thử hàng nghìn cấu hình, nên xác suất tìm được cấu hình tốt do may mắn rất cao. Không hiệu chỉnh theo số lần thử là sai lầm cốt lõi khi dùng AutoML. Cấu hình chia dữ liệu mặc định thường là ngẫu nhiên — sai với mọi dữ liệu có thời gian.
Chỉ số mục tiêu — do bạn chọn, không do công cụ chọn; Số cấu hình đã thử — đầu vào bắt buộc để đánh giá overfit.
Chưa xây dựng. Mục này hiện là điều hướng và tài liệu tham chiếu; chúng tôi không gắn nhãn 'live' cho thứ chưa chạy.
AutoML Platform (chưa xây dựng).