Hệ gợi ý sản phẩm

Đánh giá hệ gợi ý Precision@k, Recall@k, NDCG, MAP

Bộ chỉ số chuẩn cho hệ gợi ý, kèm cảnh báo vì sao điểm ngoại tuyến hay không khớp kết quả A/B test trực tuyến.

Hướng dẫn API

Precision@5 0.6000

Recall@5 0.7500

NDCG@5 0.7366

MAP@5 0.5667

Tổng quan Biểu đồ Bảng số liệu Hướng dẫn

Precision và recall theo độ sâu danh sách

Precision@iRecall@i

Trục ngang là số mục lấy. Cắt càng sâu thì recall càng tăng và precision càng giảm — chọn k = 5 là chọn một điểm trên đường đánh đổi này, không phải tìm một điểm tối ưu khách quan.

Diễn giải nhanh

Precision@5 = 0.600 — trúng 3/5

Trong 5 mục gợi ý đầu tiên. Con số này nói về chất lượng màn hình đầu tiên người dùng nhìn thấy, và đó thường là toàn bộ những gì họ nhìn.

Recall@5 = 0.750 — bắt được 3/4 mục liên quan

Trần của recall@5 là 100% vì chỉ lấy 5 mục cho 4 mục liên quan. So recall với trần đó, đừng so với 100%.

NDCG@5 = 0.737, trúng đầu tiên ở vị trí 1

NDCG chia cho thứ hạng lý tưởng nên nó đã chuẩn hoá theo số mục liên quan có thể trúng. Vị trí trúng đầu tiên là thứ người dùng cảm nhận rõ nhất.

Đo trên 4 mục được coi là liên quan

Nhãn 'liên quan' lấy từ lịch sử, mà lịch sử chỉ ghi lại những gì hệ cũ đã từng gợi ý. Mục tốt mà hệ cũ chưa bao giờ hiển thị sẽ bị chấm là sai — đó là lý do điểm ngoại tuyến hay lệch khỏi kết quả A/B test.

Khi nào con số này sai: Chỉ số ngoại tuyến thường KHÔNG tương quan tốt với kết quả A/B test trực tuyến. Nguyên nhân: dữ liệu lịch sử chỉ ghi những gì hệ cũ đã gợi ý, nên bạn đang chấm điểm trên một mẫu đã bị hệ cũ chọn lọc.

Chi tiết

F1@5	0.6667
Số trúng	3/5
Vị trí trúng đầu tiên	1
Chuỗi trúng/trượt	●○●○●
NDCG phạt gì	Trúng ở vị trí thấp có giá trị ít hơn trúng ở đầu

Precision và recall theo độ sâu danh sách

Precision@iRecall@i

Đóng góp vào DCG theo từng vị trí

Mỗi lần trúng đóng góp 1/log₂(vị trí+1). Trúng ở vị trí 1 đáng 1,00 còn trúng ở vị trí 5 chỉ đáng 0.39 — đó là toàn bộ nội dung của việc NDCG phạt thứ hạng thấp.

Danh sách gợi ý theo thứ tự

Vị trí	Mục	Liên quan	Precision@i	Recall@i
1	SP04	có	1.000	0.250
2	SP02	không	0.500	0.250
3	SP07	có	0.667	0.500
4	SP09	không	0.500	0.500
5	SP01	có	0.600	0.750
6	SP15	không	0.500	0.750
7	SP12	có	0.571	1.000
8	SP03	không	0.500	1.000

Toàn bộ chỉ số

F1@5	0.6667
Số trúng	3/5
Vị trí trúng đầu tiên	1
Chuỗi trúng/trượt	●○●○●
NDCG phạt gì	Trúng ở vị trí thấp có giá trị ít hơn trúng ở đầu

Cách dùng

Điền tham số ở cột trái. Mọi ô đã có sẵn giá trị ví dụ chạy được, nên bạn có thể bấm Tính ngay trước rồi sửa sau.
Đọc thẻ số ở trên cùng, rồi mục Diễn giải nhanh để biết con số đó nói gì.
Đọc dòng “Khi nào con số này sai” trước khi dùng kết quả để quyết định — đó là giả định vỡ đầu tiên.

Giới hạn chung. Công cụ này tính đúng công thức của nó trên dữ liệu bạn đưa vào. Nó không kiểm tra dữ liệu của bạn có phù hợp với giả định của phương pháp hay không — phần đó vẫn là việc của người dùng, và mục “sai ở đâu” bên dưới trang liệt kê các chỗ hỏng thường gặp.

Hệ gợi ý sản phẩm là gì

Gợi ý trong game khác gợi ý thương mại điện tử ở mục tiêu: không phải bán được nhiều nhất mà là giữ người chơi ở lại. Gợi ý nội dung quá dễ gây chán, quá khó gây bỏ cuộc.

Làm thế nào

Ước lượng kỹ năng người chơi và độ khó nội dung trên cùng thang.
Gợi ý nội dung ở mức khó vừa vượt kỹ năng hiện tại.
Đa dạng hoá để tránh lặp lại gây chán.
Đo bằng giữ chân, không bằng tỷ lệ nhấp.

Đo bằng chỉ số nào

Tỷ lệ hoàn thành nội dung được gợi ý	chỉ báo độ khó phù hợp
Giữ chân sau gợi ý	chỉ số mục tiêu thật
Độ đa dạng nội dung tiêu thụ	chống mệt mỏi

Sai ở đâu

Phần quan trọng nhất của trang này. Một phương pháp được mô tả mà không nói chỗ nó hỏng là phiên bản quảng cáo của phương pháp đó.

! T

! ố

! i

! ư

! u

! t

! h

! e

! o

! t

! ỷ

! l

! ệ

! n

! h

! ấ

! p

! đ

! ẩ

! y

! n

! g

! ư

! ờ

! i

! c

! h

! ơ

! i

! v

! à

! o

! n

! ộ

! i

! d

! u

! n

! g

! d

! ễ

! ,

! l

! à

! m

! g

! i

! ả

! m

! c

! ả

! m

! g

! i

! á

! c

! t

! i

! ế

! n

! b

! ộ

! v

! à

! c

! u

! ố

! i

! c

! ù

! n

! g

! i

! ả

! m

! g

! i

! ữ

! c

! h

! â

! n

! .

Câu hỏi thường gặp

Hệ gợi ý sản phẩm là gì?

Hệ gợi ý sản phẩm được làm như thế nào?

1. Ước lượng kỹ năng người chơi và độ khó nội dung trên cùng thang. 2. Gợi ý nội dung ở mức khó vừa vượt kỹ năng hiện tại. 3. Đa dạng hoá để tránh lặp lại gây chán. 4. Đo bằng giữ chân, không bằng tỷ lệ nhấp.

Hệ gợi ý sản phẩm hay sai ở đâu?

T ố i ư u t h e o t ỷ l ệ n h ấ p đ ẩ y n g ư ờ i c h ơ i v à o n ộ i d u n g d ễ , l à m g i ả m c ả m g i á c t i ế n b ộ v à c u ố i c ù n g g i ả m g i ữ c h â n .

Đo hệ gợi ý sản phẩm bằng chỉ số nào?

Tỷ lệ hoàn thành nội dung được gợi ý — chỉ báo độ khó phù hợp; Giữ chân sau gợi ý — chỉ số mục tiêu thật; Độ đa dạng nội dung tiêu thụ — chống mệt mỏi.

Hệ gợi ý sản phẩm trên QuantHub đã dùng được chưa?

Chưa xây dựng. Mục này hiện là điều hướng và tài liệu tham chiếu; chúng tôi không gắn nhãn 'live' cho thứ chưa chạy.

Đánh giá hệ gợi ý Precision@k, Recall@k, NDCG, MAP

Precision và recall theo độ sâu danh sách

Diễn giải nhanh

Chi tiết

Precision và recall theo độ sâu danh sách

Đóng góp vào DCG theo từng vị trí

Danh sách gợi ý theo thứ tự

Toàn bộ chỉ số

Cách dùng

Hệ gợi ý sản phẩm là gì

Làm thế nào

Đo bằng chỉ số nào

Sai ở đâu

Mô hình định lượng dùng trong Gaming

Câu hỏi thường gặp

Chủ đề khác trong Gaming