Giriş yap

TSMC CoWoS: Yapay Zekanın Asıl Fiziksel Boğazı

414 kelime3 dk okuma

Büyük yapay zeka sistemlerinde asıl fiziksel darboğaz hesaplama çipinin üretimi değil, hesaplayıcı ile HBM bellekleri tek pakette birleştiren CoWoS gibi gelişmiş paketleme hatlarının kapasitesidir.

Neden paketleme ayrı bir endüstri hâline geldi?

Bir yapay zeka hızlandırıcısı tek bir dev çip olarak üretilemez. Mantık çipi ile bellek çipleri farklı süreçlerde, farklı optimizasyonlarla üretilir ve bellek yoğun sistemlerde hesaplamanın çok üzerinde yer kaplar.

Bu gerçek paketlemeyi son adım olmaktan çıkarıp tasarımın temel bileşenine dönüştürdü. Yüksek performanslı hesaplamada performans farkı çoğu zaman çipin hızından değil, paketin bağlantı kapasitesinden geliyor.

CoWoS yapısı

Yöntemde hesaplayıcı çip ayrı bir wafer üzerinde üretilir ve daha sonra ince bir silikon ara katmanın üzerine yerleştirilir. HBM bellek yığınları da aynı ara katman üzerine konur.

Silikon ara katmanın kritik avantajı, içine binlerce yüksek hızlı bağlantı yerleştirebilmesidir. Bu bağlantılar hesaplayıcı ile bellek arasında çok yüksek hızda veri taşır; klasik bir substratın sunabileceği bağlantı sayısı bunun belirgin biçimde altındadır.

Yapay zekayı neden paketleme sınırlıyor?

Hızlandırıcı tasarımında bellek bant genişliği hesaplamanın önüne geçer. Model ağırlıklarını okumak, onlarla aritmetik yapmaktan çok daha yavaştır; yetersiz bant genişliğinde işlemci boşta bekler ve kullanılan akıllıca verim erimeye başlar.

Bu nedenle şirketler önce ham silikonu, ardından HBM tedariki, en sonra paketleme kapasitesini büyütmek zorunda kaldı. Kapasite artışları aylar değil yıllar sürdüğü için yeni mimari tasarlanırken tedarik zinciri koşulları belirleyici hâle geldi.

Tasarımı nasıl şekillendiriyor?

Paketleme sınırı mimarileri doğrudan etkiliyor. Daha büyük tek parça yerine daha küçük parçalar kullanmak, yerleşim ve güç dağıtımı açısından esneklik sağlıyor.

Ancak bu yaklaşım parçalar arası iletişim miktarını artırdığı için bant genişliği ihtiyacını da yükseltiyor. Başka bir deyişle paketleme darboğazunu aşmak, mimariyi sadeleştirmekten çok daha karmaşık bir problem.

Sıradaki aşama

Paketleme kapasitesini genişletmek yeni hat yatırımı, nitelikli iş gücü ve yıllar süren süreç olgunlaştırma gerektiriyor. Tedarikçilerle anlaşmalar uzun vadeli kapasite rezervasyonuna dönüştü.

Panel seviyesinde paketleme gibi yeni yaklaşımlar da round wafer ile karşılaştırıldığında daha yüksek alan verimi vaat ediyor. Bu, bir sonraki büyük darboğazın biçimini belirleyecek.

  • Hesaplayıcı ile HBM, silikon ara katman üzerinde yan yana durur
  • Paralel bağlantı sayısı elektriksel sınırı belirler
  • Paketleme kapasitesi, çip tasarımı verilmeden planlanamaz
  • Panel seviyesi paketleme, wafer başına alan verimini artırma peşinde

Sık sorulan sorular

CoWoS tam olarak ne demek?

Chip-on-Wafer-on-Substrate kısaltmasıdır. Hesaplayıcı ve HBM belleklerin silikon ara katman üzerinde birleştirilip alttaki substrata bağlandığı paketleme yöntemidir.

Darboğaz gerçekten paketlemede mi?

Büyük sistemlerde sıkıntı çeken aşama genellikle paketlemedir. Ham silikon ve HBM kapasitesi de darboğaz olabilir ancak paketleme çoğu zaman son ve en zor aşamadır.

Neden silikon ara katman kullanılıyor?

Klasik substratlar yüzlerce bağlantı sunarken silikon ara katman binlerce paralel bağlantı yerleştirebiliyor. Bellek bant genişliğini belirleyen temel faktör budur.

Paketleme mimariyi nasıl etkiler?

Parça sayısını, yerleşim sınırlarını, güç dağıtımını ve veri kopyalama stratejisini belirler; bant genişliği ihtiyacı arttıkça mimari karmaşıklığı da artar.

Kaynakça

  1. TSMC — gelişmiş paketleme çözümleriTSMC
  2. CoWoS paketleme mimarisiWikipedia
  3. Silikon ara katman ve 2.5D paketlemeWikipedia
  4. Yüksek bant genişlikli bellekWikipedia
  5. Bellek bant genişliği darboğazıWikipedia

Bu konuyla ilgili haberler