NLP — Xử lý ngôn ngữ
Bước khảo sát đầu tiên với bất kỳ tập văn bản nào, kèm cảnh báo thẳng về giới hạn của việc tách từ tiếng Việt theo khoảng trắng.
Đã loại stopword. Trên 61 từ, từ đứng đầu chiếm 11.5% toàn văn bản — tỷ trọng càng cao thì văn bản càng xoay quanh một chủ đề hẹp.
Chỉ số này giảm tự nhiên khi văn bản dài ra, nên chỉ so sánh được giữa các văn bản có độ dài tương đương. So một bài 200 từ với một bài 20.000 từ là so sai.
Tỷ lệ hapax cao nghĩa là văn bản trải rộng chủ đề hoặc quá ngắn để có mẫu lặp. Đây cũng là phần mà mọi mô hình thống kê văn bản gặp khó nhất.
Văn bản kỹ thuật tiếng Việt thường 15–25 từ mỗi câu. Trên 30 là dấu hiệu câu nhiều mệnh đề, khó đọc và cũng khó tách máy.
Sai về ngôn ngữ học với tiếng Việt: 'học sinh' là một từ ghép, không phải hai từ. Kết quả dùng được để so sánh tương đối giữa các văn bản, không dùng được như phân tích hình thái.
| Từ xuất hiện nhiều nhất | mô (7) · hình (7) · dữ (4) · liệu (4) · sạch (3) · hơn (3) · cần (2) · phức (2) · tạp (2) · định (2) · trên (2) · nền (1) |
| Cụm hai từ nổi bật | mô hình (7) · dữ liệu (4) · liệu sạch (3) · hình phức (2) · phức tạp (2) · trên dữ (2) · nền tảng (1) · tảng quant (1) |
| Độ dài câu trung bình | 15.2 từ |
| Từ chỉ xuất hiện 1 lần | 21 (65.6%) |
| Ghi chú | Đã loại stopword tiếng Việt và tiếng Anh cơ bản |
Đã loại stopword. Trên 61 từ, từ đứng đầu chiếm 11.5% toàn văn bản — tỷ trọng càng cao thì văn bản càng xoay quanh một chủ đề hẹp.
Ngôn ngữ tự nhiên rơi gần một đường thẳng dốc khoảng −1. Đám mây phẳng nghĩa là văn bản không phải văn xuôi mà là danh sách hoặc mẫu lặp.
Cụm hai từ liền nhau, đã bỏ cụm chứa stopword. Với tiếng Việt, phần lớn cụm ở đây thực chất là MỘT từ ghép bị tách nhầm bởi khoảng trắng.
| Hạng | Từ | Số lần | Tỷ lệ trên tổng từ | Luỹ kế |
|---|---|---|---|---|
| 1 | mô | 7 | 11.48% | 11.48% |
| 2 | hình | 7 | 11.48% | 22.95% |
| 3 | dữ | 4 | 6.56% | 29.51% |
| 4 | liệu | 4 | 6.56% | 36.07% |
| 5 | sạch | 3 | 4.92% | 40.98% |
| 6 | hơn | 3 | 4.92% | 45.90% |
| 7 | cần | 2 | 3.28% | 49.18% |
| 8 | phức | 2 | 3.28% | 52.46% |
| 9 | tạp | 2 | 3.28% | 55.74% |
| 10 | định | 2 | 3.28% | 59.02% |
| 11 | trên | 2 | 3.28% | 62.30% |
| 12 | nền | 1 | 1.64% | 63.93% |
| Từ xuất hiện nhiều nhất | mô (7) · hình (7) · dữ (4) · liệu (4) · sạch (3) · hơn (3) · cần (2) · phức (2) · tạp (2) · định (2) · trên (2) · nền (1) |
| Cụm hai từ nổi bật | mô hình (7) · dữ liệu (4) · liệu sạch (3) · hình phức (2) · phức tạp (2) · trên dữ (2) · nền tảng (1) · tảng quant (1) |
| Độ dài câu trung bình | 15.2 từ |
| Từ chỉ xuất hiện 1 lần | 21 (65.6%) |
| Ghi chú | Đã loại stopword tiếng Việt và tiếng Anh cơ bản |
1.234.567 lẫn 1.234,56.Xử lý ngôn ngữ tự nhiên trích thông tin từ văn bản. Với tiếng Việt có hai đặc thù kỹ thuật: tách từ không hiển nhiên vì âm tiết viết rời, và dấu thanh thường bị lược bỏ trong dữ liệu người dùng sinh ra.
| F1 theo nhãn | trung bình chung che mất nhãn hiếm |
| Độ đồng thuận người gán nhãn | trần hiệu suất thực tế |
Phần quan trọng nhất của trang này. Một phương pháp được mô tả mà không nói chỗ nó hỏng là phiên bản quảng cáo của phương pháp đó.
Chưa có mô hình nào gắn riêng cho chủ đề này. Đây là những mô hình của cả ngành — liên quan ở cấp ngành, không phải cấp chủ đề.
Cơ chế attention, nắm quan hệ xa.
Tích chập nhân quả với receptive field kiểm soát được.
Sharpe sau khi phạt vì số lần thử và độ lệch/nhọn của đuôi.
Tỉ lệ cấu hình thắng in-sample lại xếp dưới trung vị ngoài mẫu.
Xử lý ngôn ngữ tự nhiên trích thông tin từ văn bản. Với tiếng Việt có hai đặc thù kỹ thuật: tách từ không hiển nhiên vì âm tiết viết rời, và dấu thanh thường bị lược bỏ trong dữ liệu người dùng sinh ra.
1. Chuẩn hoá văn bản: Unicode, dấu thanh, viết tắt, teencode. 2. Tách từ bằng công cụ dành riêng cho tiếng Việt. 3. Dùng mô hình đã huấn luyện sẵn cho tiếng Việt thay vì mô hình đa ngữ chung khi có thể. 4. Đánh giá trên dữ liệu thật của bạn, không trên benchmark chung.
Tách từ sai làm mọi bước sau sai theo; 'học sinh' và 'học sinh học' cần xử lý khác nhau. Văn bản không dấu là bài toán riêng, không phải nhiễu nhỏ.
F1 theo nhãn — trung bình chung che mất nhãn hiếm; Độ đồng thuận người gán nhãn — trần hiệu suất thực tế.
Chưa xây dựng. Mục này hiện là điều hướng và tài liệu tham chiếu; chúng tôi không gắn nhãn 'live' cho thứ chưa chạy.