Softmax và nhiệt độ: mô hình ngôn ngữ chọn từ tiếp theo bằng xác suất như thế nào
Chatbot chọn từ tiếp theo bằng cách biến điểm số thành xác suất qua softmax rồi lấy mẫu. Tính tay softmax, ảnh hưởng của nhiệt độ, top-k và top-p.
#softmax
Cơ chế chú ý (attention) trong Transformer là phép toán gì: tính tay với ba token
Cơ chế chú ý là tích vô hướng giữa truy vấn và khoá, qua softmax thành trọng số, rồi lấy trung bình có trọng số các giá trị. Tính tay và chi phí bình phương.