AIToanHoc.comAI Toán Học

Máy tính · AI Toán Học

Tự tay kéo gradient descent: tốc độ học nào thì văng?

Thả một điểm trên đồ thị x^2, chọn tốc độ học và số bước. Xem nó trượt êm về đáy, nhảy qua nhảy lại, hay văng ra xa. Toán huấn luyện AI, thu nhỏ.

Công cụ này giúp gì

Huấn luyện một mô hình AI về bản chất là lặp đi lặp lại một việc: đứng ở đâu thì nhìn độ dốc ở đó rồi bước ngược chiều dốc một đoạn. Độ dài bước do tốc độ học quyết định. Công cụ này làm đúng việc đó trên hàm đơn giản nhất, f(x) = x^2, có đáy tại x = 0 và đạo hàm là 2x.

Mỗi bước: x mới = x cũ trừ tốc độ học nhân 2x, tức x mới = (1 - 2 × tốc độ học) × x cũ. Vì thế mọi chuyện do một con số quyết định. Mô hình thật có hàng triệu tham số và mặt lỗi gồ ghề hơn nhiều, nhưng ba hiện tượng bạn thấy ở đây (học chậm, dao động, phân kỳ) thì giữ nguyên.

Cách dùng

  1. Nhập số liệu của bạn, ô nào chưa rõ thì giữ số gợi ý sẵn.
  2. Kết quả tính ngay trên máy của bạn, đổi số là đổi kết quả.
  3. Đọc phần nhận định để biết con số đó nói gì, rồi gửi link cho người cùng quyết định.

Hỏi đáp

Vì sao chọn hàm x^2 mà không phải hàm phức tạp hơn?

Vì với x^2 mọi bước đều tính tay được: x mới bằng x cũ nhân (1 - 2 × tốc độ học). Bạn nhìn thấy trọn nguyên nhân của ba hiện tượng học chậm, dao động và phân kỳ chỉ qua một con số.

Mô hình AI thật có giống thế này không?

Cùng nguyên tắc, khác quy mô. Mô hình thật có rất nhiều tham số nên độ dốc là một vector gọi là gradient, và mặt lỗi có nhiều thung lũng thay vì một đáy. Cách cập nhật vẫn là tham số mới = tham số cũ trừ tốc độ học nhân gradient.

Vị trí hiện 0 có nghĩa là đã tới đúng đáy?

Chưa chắc. Kết quả làm tròn hai chữ số thập phân nên 0 nghĩa là cách đáy dưới 0,005. Trừ trường hợp tốc độ học 0,5, điểm chỉ tiến sát đáy dần chứ không bao giờ chạm đúng.

Kết quả tính ngay trên máy của bạn, trang không thu câu trả lời của bạn. Công cụ để tham khảo, không thay cho ý kiến của người có chuyên môn trong trường hợp cụ thể. Góp ý: info@wt4.com.