#transformer

Cơ chế chú ý (attention) trong Transformer là phép toán gì: tính tay với ba token

Cơ chế chú ý là tích vô hướng giữa truy vấn và khoá, qua softmax thành trọng số, rồi lấy trung bình có trọng số các giá trị. Tính tay và chi phí bình phương.