Self attention hay intra-attention - cụm từ chắc hẳn đã được đồng đạo trong giới Machine Learning biết đến nhiều qua một bài báo rất nổi tiếng Attention is All You Need đề cập đến mô hình Transfomer đã và đang làm mưa làm gió trong nhiều lĩnh vực từ xử lý ngôn ngữ tự nhiên đến xử lý ảnh ... Self Attention chính là một trong những phần cốt yếu đóng góp nên sự thành công trong mô hình này....
Happy New Year Deep Learning Transformer Long Short-Term Memory-Networks Self Attention
Introduction Từ trước đến nay, khi nhắc đến adversarial examples, chúng ta đều thường nghĩ đến những chiến lược tấn công dựa trên L2L_{\substack{2}}L2 hoặc L∞L_{\substack{\infin}}L∞. Tuy nhiên, đây chưa hẳn là một thước đo lí tưởng bởi L2L_{\substack{2}}L2 thường rất nhạy cảm với những tác nhân như ánh sáng của ảnh, v..v... Chẳng hạn như chúng ta dịch cả ảnh tăng lên 1 pixel cũng...
adversarial image classification Machine Learning Transformer deeplearning