Anomaly Detection — Phát hiện bất thường
Chọn ngưỡng theo năng lực đội ngũ chứ không theo F1 tối ưu. Công cụ này quy điểm vận hành ra số giờ người mỗi ngày.
Hàng đợi một ngày: 212 đúng trên tổng 2,711. Số ở giữa là PPV — tỷ lệ một cảnh báo bất kỳ là thật, và nó là thứ quyết định đội ngũ còn tin vào hệ thống hay không.
Tỷ lệ nền 0.0500% là nguyên nhân, không phải mô hình kém: 499,750 bản ghi bình thường nhân với 0.500% sai sót đã đủ tạo ra 2,499 báo động giả mỗi ngày.
Mỗi cảnh báo 4 phút. Đây là con số phải đối chiếu với biên chế thật trước khi chốt ngưỡng — đội quá tải sẽ tự bỏ qua hàng đợi, và khi đó độ nhạy trên giấy không còn ý nghĩa.
Đang là 99.5000%, tức phải giảm dương tính giả khoảng 12 lần. Nghịch lý tỷ lệ nền: sự kiện càng hiếm thì yêu cầu về độ đặc hiệu càng khắc nghiệt, và đây là lý do các bộ phát hiện gian lận thường ngập trong báo động giả.
Phần này không xuất hiện trong hàng đợi nên không ai đếm được nếu chỉ nhìn báo cáo vận hành. Nó là hệ quả trực tiếp của độ nhạy 85.0% và chỉ giảm được bằng cách nhận thêm cảnh báo giả.
| Dương tính giả mỗi ngày | 2,499 |
| Tỷ lệ cảnh báo trên tổng | 0.54% |
| Nếu tăng độ đặc hiệu thêm 1 điểm % | còn 212 cảnh báo |
| Nguyên tắc | Chọn ngưỡng từ ngân sách nhân lực, rồi mới đo hiệu quả |
Hàng đợi một ngày: 212 đúng trên tổng 2,711. Số ở giữa là PPV — tỷ lệ một cảnh báo bất kỳ là thật, và nó là thứ quyết định đội ngũ còn tin vào hệ thống hay không.
Giữ nguyên độ nhạy 85.0% và tỷ lệ nền 0.0500%. Đường dưới là trần: dù lọc sạch mọi dương tính giả thì vẫn còn đúng số ca thật. Toàn bộ phần chênh lệch là công vô ích.
Với tỷ lệ nền 0.0500%, PPV chỉ khá lên ở những phần nghìn cuối cùng của độ đặc hiệu. Đây là nghịch lý tỷ lệ nền, và không mô hình nào thoát được nó.
| Độ đặc hiệu | Cảnh báo/ngày | Dương tính giả | PPV | Giờ người/ngày | Số người |
|---|---|---|---|---|---|
| 98.500% | 7,709 | 7,496 | 2.8% | 513.9 | 64.2 |
| 98.636% | 7,027 | 6,815 | 3.0% | 468.5 | 58.6 |
| 98.773% | 6,346 | 6,133 | 3.3% | 423.1 | 52.9 |
| 98.909% | 5,664 | 5,452 | 3.8% | 377.6 | 47.2 |
| 99.045% | 4,983 | 4,770 | 4.3% | 332.2 | 41.5 |
| 99.182% | 4,301 | 4,089 | 4.9% | 286.8 | 35.8 |
| 99.318% | 3,620 | 3,407 | 5.9% | 241.3 | 30.2 |
| 99.455% | 2,938 | 2,726 | 7.2% | 195.9 | 24.5 |
| 99.591% | 2,257 | 2,044 | 9.4% | 150.5 | 18.8 |
| 99.727% | 1,575 | 1,363 | 13.5% | 105.0 | 13.1 |
| 99.864% | 894 | 681 | 23.8% | 59.6 | 7.4 |
| 100.000% | 212 | 0 | 100.0% | 14.2 | 1.8 |
| Dương tính giả mỗi ngày | 2,499 |
| Tỷ lệ cảnh báo trên tổng | 0.54% |
| Nếu tăng độ đặc hiệu thêm 1 điểm % | còn 212 cảnh báo |
| Nguyên tắc | Chọn ngưỡng từ ngân sách nhân lực, rồi mới đo hiệu quả |
cảnh báo = N·base·sens + N·(1−base)·(1−spec)
Đây là công thức thật mà mã nguồn chạy, không phải mô tả gần đúng.
API tại /api/v1/tools/alert-budget gọi đúng hàm
này, nên kết quả trên trang và qua API không thể lệch nhau.
Phát hiện bất thường tìm quan sát khác biệt so với phần lớn dữ liệu. Đặc điểm định hình bài toán: gần như không có nhãn, và 'bất thường' không đồng nghĩa với 'có vấn đề'.
| Precision@k | trong k cảnh báo hàng đầu có bao nhiêu đúng |
| Số cảnh báo mỗi ngày | ràng buộc vận hành thực tế |
Phần quan trọng nhất của trang này. Một phương pháp được mô tả mà không nói chỗ nó hỏng là phiên bản quảng cáo của phương pháp đó.
Chưa có mô hình nào gắn riêng cho chủ đề này. Đây là những mô hình của cả ngành — liên quan ở cấp ngành, không phải cấp chủ đề.
Cơ chế attention, nắm quan hệ xa.
Tích chập nhân quả với receptive field kiểm soát được.
Sharpe sau khi phạt vì số lần thử và độ lệch/nhọn của đuôi.
Tỉ lệ cấu hình thắng in-sample lại xếp dưới trung vị ngoài mẫu.
Phát hiện bất thường tìm quan sát khác biệt so với phần lớn dữ liệu. Đặc điểm định hình bài toán: gần như không có nhãn, và 'bất thường' không đồng nghĩa với 'có vấn đề'.
1. Định nghĩa bình thường dựa trên giai đoạn dữ liệu đã biết là ổn định. 2. Chọn phương pháp theo dạng dữ liệu: thống kê cho một biến, isolation forest cho nhiều biến, autoencoder cho dữ liệu phức tạp. 3. Đặt ngưỡng theo số cảnh báo mà đội ngũ xử lý được mỗi ngày. 4. Thu thập phản hồi từ người xử lý để cải thiện dần.
Không có nhãn nên không đo được recall thật; mọi tuyên bố về 'phát hiện 95% bất thường' cần đặt dấu hỏi. Ngưỡng cố định trở nên sai khi hệ thống thay đổi bình thường mới.
Precision@k — trong k cảnh báo hàng đầu có bao nhiêu đúng; Số cảnh báo mỗi ngày — ràng buộc vận hành thực tế.
Chưa xây dựng. Mục này hiện là điều hướng và tài liệu tham chiếu; chúng tôi không gắn nhãn 'live' cho thứ chưa chạy.