Bellek Duvarının Fiziği: Standart Attention'dan FlashAttention'a O(N²) Çıkmazı, Online Softmax ve SRAM Mimarisi

FlashAttention, self-attention'ın O(N²) skor matrisini HBM belleğe hiç yazmadan, GPU'nun hızlı on-chip SRAM'i içinde blok blok ve online softmax özyinelemesiyle hesaplayan, matematiksel olarak standart attention ile birebir aynı sonucu üreten IO-farkındalıklı bir algoritmadır; HBM veri hareketini Θ(N²)'den Θ(N²d²/M)'ye indirir ve aktivasyon belleğini geri yayılımda O(N²)'den O(N)'e düşürür.