Nhúng từ (word embedding) là gì: vì sao máy biểu diễn nghĩa của từ bằng vector
Nhúng từ biến mỗi từ thành một vector số sao cho từ gần nghĩa nằm gần nhau. Tính tay độ tương đồng cosine, cách vector được học và giới hạn của nó.
#tích vô hướng
Cơ chế chú ý (attention) trong Transformer là phép toán gì: tính tay với ba token
Cơ chế chú ý là tích vô hướng giữa truy vấn và khoá, qua softmax thành trọng số, rồi lấy trung bình có trọng số các giá trị. Tính tay và chi phí bình phương.
Tích vô hướng, hình chiếu vuông góc và phương pháp bình phương tối thiểu
Tích vô hướng đo hai vector cùng hướng tới đâu; hình chiếu tìm điểm gần nhất; bình phương tối thiểu là hình chiếu, kèm ví dụ khớp đường thẳng 4 điểm.