Feature Engineering — Kỹ thuật đặc trưng
Hồi quy bội chạy thật trên dữ liệu bạn tải lên, kèm t-stat và p-value cho từng hệ số. Giải bằng phương trình chuẩn với khử Gauss, không cần thư viện ngoài.
Điểm nằm quanh một đường thẳng là dấu hiệu tốt. Điểm uốn cong nghĩa là quan hệ thật không tuyến tính và R² đang che mất điều đó.
Mô hình giải thích 99.9% phương sai của biến phụ thuộc, đã phạt cho số biến. Dùng bản hiệu chỉnh vì R² thường luôn tăng khi thêm biến, kể cả biến vô nghĩa.
Quy tắc kinh nghiệm là ít nhất 10–20 quan sát mỗi biến. Ít hơn thì mô hình học nhiễu và R² trong mẫu trở nên vô nghĩa.
|t| > 1,96. Biến không có ý nghĩa không chứng minh là không ảnh hưởng — chỉ là dữ liệu này chưa đủ để kết luận.
Đây là giới hạn của phương pháp, không phải của dữ liệu. Chỉ thí nghiệm có can thiệp mới cho kết luận nhân quả.
| hằng số | +20.0714 (t=+28.54, p=0.0000)*** |
| x1 | +2.0215 (t=+17.03, p=0.0000)*** |
| x2 | +0.641702 (t=+2.83, p=0.0047)** |
| Sai số chuẩn phần dư | 0.452433 |
| Ý nghĩa dấu sao | * p<0.05 · ** p<0.01 · *** p<0.001 |
| Cảnh báo | R² cao chưa chắc dự báo tốt ngoài mẫu — hãy giữ lại một phần dữ liệu chưa dùng để kiểm tra |
Điểm nằm quanh một đường thẳng là dấu hiệu tốt. Điểm uốn cong nghĩa là quan hệ thật không tuyến tính và R² đang che mất điều đó.
Phần dư phải rải đều quanh 0 với độ phân tán không đổi. Hình phễu (loe dần) nghĩa là phương sai thay đổi, và khi đó mọi t-statistic ở trên đều sai.
Độ lớn chỉ so sánh được giữa các biến khi chúng cùng đơn vị đo — nếu không, hãy đọc t-statistic thay vì chiều cao cột.
| hằng số | +20.0714 (t=+28.54, p=0.0000)*** |
| x1 | +2.0215 (t=+17.03, p=0.0000)*** |
| x2 | +0.641702 (t=+2.83, p=0.0047)** |
| Sai số chuẩn phần dư | 0.452433 |
| Ý nghĩa dấu sao | * p<0.05 · ** p<0.01 · *** p<0.001 |
| Cảnh báo | R² cao chưa chắc dự báo tốt ngoài mẫu — hãy giữ lại một phần dữ liệu chưa dùng để kiểm tra |
β = (XᵀX)⁻¹Xᵀy
Đây là công thức thật mà mã nguồn chạy, không phải mô tả gần đúng.
API tại /api/v1/tools/ols-regression gọi đúng hàm
này, nên kết quả trên trang và qua API không thể lệch nhau.
1.234.567 lẫn 1.234,56.Feature engineering biến dữ liệu thô thành đặc trưng mà mô hình học được. Đây thường là nơi tạo ra nhiều giá trị nhất, và cũng là nơi rò rỉ dữ liệu hay xảy ra nhất.
| Feature importance | hữu ích để rà soát, dễ gây hiểu nhầm về nhân quả |
| Độ trôi đặc trưng | phân phối đặc trưng thay đổi sau triển khai |
Phần quan trọng nhất của trang này. Một phương pháp được mô tả mà không nói chỗ nó hỏng là phiên bản quảng cáo của phương pháp đó.
Chưa có mô hình nào gắn riêng cho chủ đề này. Đây là những mô hình của cả ngành — liên quan ở cấp ngành, không phải cấp chủ đề.
Cơ chế attention, nắm quan hệ xa.
Tích chập nhân quả với receptive field kiểm soát được.
Sharpe sau khi phạt vì số lần thử và độ lệch/nhọn của đuôi.
Tỉ lệ cấu hình thắng in-sample lại xếp dưới trung vị ngoài mẫu.
Feature engineering biến dữ liệu thô thành đặc trưng mà mô hình học được. Đây thường là nơi tạo ra nhiều giá trị nhất, và cũng là nơi rò rỉ dữ liệu hay xảy ra nhất.
1. Chỉ dùng thông tin có sẵn tại thời điểm dự báo — nguyên tắc số một. 2. Tạo đặc trưng theo hiểu biết lĩnh vực, không chỉ theo biến đổi máy móc. 3. Với chuỗi thời gian, dùng cửa sổ trượt chỉ nhìn về quá khứ. 4. Tính thống kê chuẩn hoá trên tập train rồi áp cho tập test, không tính trên toàn bộ.
Đặc trưng có sức dự báo cao bất thường gần như luôn là rò rỉ, không phải phát hiện. Target encoding tính trên toàn bộ dữ liệu là rò rỉ nhãn kinh điển.
Feature importance — hữu ích để rà soát, dễ gây hiểu nhầm về nhân quả; Độ trôi đặc trưng — phân phối đặc trưng thay đổi sau triển khai.
Đang thử nghiệm: chạy được nhưng phương pháp chưa kiểm định đầu-cuối, nên đừng dựa vào nó để ra quyết định tiền thật.