Strategy Validation — DSR · PBO · tearsheet
Sharpe cao không chứng minh có edge nếu bạn đã thử nhiều cấu hình. DSR trả lời: sau khi trừ phần kỳ vọng thu được nhờ may mắn khi thử N lần, kết quả còn lại bao nhiêu.
Cùng một Sharpe 0.1200, chỉ đổi N. Bạn khai 30 lần thử → DSR 0.6929; nếu thực tế đã dò 300 cấu hình thì còn 0.2222. Đường dốc xuống chính là cái giá của việc đi tìm.
Đây là xác suất Sharpe thật lớn hơn 0 sau khi đã trừ phần kỳ vọng thu được nhờ may mắn khi thử N lần. Dưới ngưỡng nghĩa là chưa đủ bằng chứng, không phải đã chứng minh là vô dụng.
SR₀ là mức Sharpe mà 30 lần thử hoàn toàn vô ích vẫn tạo ra được. Chỉ phần vượt trên nó mới là ứng viên cho một lợi thế thật.
Mọi cấu hình bạn đã chạy rồi bỏ đều tính là một lần thử — kể cả những lần chỉnh tay trước khi viết script. Đây là chỗ chỉ số này bị làm đẹp nhiều nhất.
PSR chỉ hỏi Sharpe có khác 0 không; DSR hỏi thêm nó có sống sót sau khi trừ chi phí tìm kiếm không. Khoảng cách giữa hai con số chính là phần bạn đã trả cho việc dò tham số.
| Phán quyết | CHƯA ĐẠT — dưới ngưỡng 0.95 thường dùng |
| Sharpe quan sát | 0.1200 |
| Vượt ngưỡng | +0.0163 |
| Công thức | DSR = Φ[(SR − SR₀)·√(T−1) / √(1 − γ₃·SR + (γ₄−1)/4·SR²)] |
Bailey & López de Prado (2014), The Deflated Sharpe Ratio
Cùng một Sharpe 0.1200, chỉ đổi N. Bạn khai 30 lần thử → DSR 0.6929; nếu thực tế đã dò 300 cấu hình thì còn 0.2222. Đường dốc xuống chính là cái giá của việc đi tìm.
SR₀ là kỳ vọng của Sharpe LỚN NHẤT trong N lần thử vô ích. Khi nó vượt lên trên đường Sharpe quan sát thì toàn bộ kết quả nằm gọn trong phần giải thích được bằng số lần thử.
Ngưỡng 0,95 là quy ước thực hành. DSR 0,94 và 0,96 không khác nhau về bản chất — khoảng cách tới N thật mới là thứ quyết định.
| N — số lần thử | SR₀ | DSR | Kết luận |
|---|---|---|---|
| 2 | 0.0260 | 0.9981 | đạt |
| 3 | 0.0426 | 0.9915 | đạt |
| 5 | 0.0596 | 0.9688 | đạt |
| 7 | 0.0693 | 0.9411 | chưa đạt |
| 11 | 0.0811 | 0.8850 | chưa đạt |
| 18 | 0.0927 | 0.8003 | chưa đạt |
| 27 | 0.1015 | 0.7162 | chưa đạt |
| 30 | 0.1037 | 0.6929 | chưa đạt |
| 42 | 0.1104 | 0.6161 | chưa đạt |
| 65 | 0.1188 | 0.5153 | chưa đạt |
| 101 | 0.1267 | 0.4180 | chưa đạt |
| 155 | 0.1341 | 0.3322 | chưa đạt |
| 240 | 0.1412 | 0.2561 | chưa đạt |
| Phán quyết | CHƯA ĐẠT — dưới ngưỡng 0.95 thường dùng |
| Sharpe quan sát | 0.1200 |
| Vượt ngưỡng | +0.0163 |
| Công thức | DSR = Φ[(SR − SR₀)·√(T−1) / √(1 − γ₃·SR + (γ₄−1)/4·SR²)] |
DSR = Φ[(SR − SR₀)·√(T−1) / √(1 − γ₃·SR + (γ₄−1)/4·SR²)]
Đây là công thức thật mà mã nguồn chạy, không phải mô tả gần đúng.
API tại /api/v1/tools/deflated-sharpe gọi đúng hàm
này, nên kết quả trên trang và qua API không thể lệch nhau.
Bailey & López de Prado (2014), The Deflated Sharpe Ratio
Kiểm định là bước trả lời câu hỏi backtest không trả lời được: kết quả này là edge hay là may mắn của người đã thử nhiều lần? Ba công cụ chính là Deflated Sharpe, PBO và Monte Carlo.
| Deflated Sharpe | ≥ 0.95 mới nói được 'không phải may mắn' |
| PBO | ≥ 0.5 nghĩa là quy trình chọn tham số vô dụng |
| MC p05 | kết quả ở phân vị 5 của các kịch bản xáo trộn |
| Min track record length | cần bao nhiêu lệnh nữa mới đủ kết luận |
Phần quan trọng nhất của trang này. Một phương pháp được mô tả mà không nói chỗ nó hỏng là phiên bản quảng cáo của phương pháp đó.
Mỗi mô hình kèm giả định và điều kiện khiến nó sai — thứ quyết định bạn có nên dùng nó cho bài toán này hay không.
Chạy thật, miễn phí, mỗi kết quả kèm điều kiện nó sai.
Sharpe Ratio Lợi suất vượt trội trên một đơn vị biến độngNhãn trạng thái gắn theo thực tế.
Strategy Validation hoạt động DSR · PBO · tearsheet trung thựcKiểm định là bước trả lời câu hỏi backtest không trả lời được: kết quả này là edge hay là may mắn của người đã thử nhiều lần? Ba công cụ chính là Deflated Sharpe, PBO và Monte Carlo.
1. Đếm trung thực số cấu hình đã thử — con số này là đầu vào của DSR. 2. Tính Deflated Sharpe: Sharpe sau khi phạt theo số lần thử, độ lệch và độ nhọn của chuỗi lợi suất. 3. Tính PBO bằng CSCV: quy trình chọn của bạn xếp dưới trung vị ngoài mẫu bao nhiêu phần trăm số lần. 4. Xáo trộn thứ tự lệnh vài nghìn lần để xem phân phối drawdown.
Khai thấp số lần thử. DSR phụ thuộc trực tiếp vào nó; khai 5 khi thực tế thử 200 làm con số vô nghĩa. Đo PBO trên dữ liệu quá ngắn. Cùng một quy trình cho PBO 0.80 trên 8 tháng và 0.024 trên 16 năm.
Deflated Sharpe — ≥ 0.95 mới nói được 'không phải may mắn'; PBO — ≥ 0.5 nghĩa là quy trình chọn tham số vô dụng; MC p05 — kết quả ở phân vị 5 của các kịch bản xáo trộn; Min track record length — cần bao nhiêu lệnh nữa mới đủ kết luận.
Đã chạy được: công cụ tính toán thật trên nền tảng này.
Deflated Sharpe Ratio — Sharpe sau khi phạt vì số lần thử và độ lệch/nhọn của đuôi..
Khai n_trials = 1 khi thực tế thử 50 — mọi kết luận sau đó vô nghĩa.
Có: Sharpe Ratio. Mỗi công cụ trả kết quả kèm điều kiện mà kết quả đó sai.