Cơ chế attention, nắm quan hệ xa.
Dữ liệu rất lớn.
Ít dữ liệu — attention học thuộc nhiễu rất nhanh.
Mạng hồi tiếp có cổng nhớ dài hạn.
Bản gọn của LSTM, ít tham số hơn.
Tích chập nhân quả với receptive field kiểm soát được.
Tích chập cho dữ liệu có cấu trúc không gian.
Học chính sách hành động qua thử và phần thưởng.