Mô hình năng lượng (Energy-based models - EBM) và một số cách huấn luyện (2).

Trong bài trước, ta đã biết mô hình năng lượng biểu diễn một phân bố không chuẩn hóa, cụ thể hơn p(x)=exp⁡(−E(x))Zp(x)=\frac{\exp( -E(x))}{Z} p(x)=Zexp(−E(x))​Với phân bố p(x)p(x)p(x) như trên, ta sinh dữ liệu bằng phương pháp stochasic gradient Langevin dynamics. Phương pháp này sử dụng gradient tại xxx của log⁡p(x)\log p(x)logp(x) để lấy mẫu. Từ điều này, ta có thể thấy việc học một mô hình năng...

EBM score-based

Sinh dữ liệu với mô hình dựa trên score

Chúng ta đã tìm hiểu về cách huấn luyện mô hình score và cách lấy mẫu với Langevin dynamics. Tuy nhiên cách làm trực tiếp đó chưa đủ để sinh ra dữ liệu tốt. Trong bài này chúng ta sẽ tìm hiểu về cách để xây dựng một mô hình score mạnh. Ước lượng score của biến ngẫu nhiên ẩn Thay vì ước lượng trực tiếp score của dữ liệu ban đầu, ta có thể áp dụng score matching cho biến ẩn của mô...

score-based score-matching