CoWoS Teknolojisi Nedir? Yapay Zekâ Hızlandırıcılarında Devrim

CoWoS teknolojisi, kısa bir süre öncesine kadar yarı iletken üretiminde kullanılan dar kapsamlı bir terimken, yapay zekâ gelişimiyle birlikte günümüzün modern AI hızlandırıcılarının en önemli bileşenlerinden biri haline geldi. Tek bir işlemci yongasının performansı artık yeterli değil: yanında büyük miktarda hızlı belleğin bulunması ve veri aktarımının minimum gecikmeyle sağlanması gerekiyor.

CoWoS Teknolojisinin Temel Önemi

NVIDIA hızlandırıcılarında bu durum özellikle belirgin. Hesaplama yongaları, birden fazla HBM yığınıyla birlikte çalışıyor. Bu tür bileşenleri sıradan bir baskılı devre kartı üzerinde yerleştirmek bağlantı yoğunluğu, güç tüketimi ve bant genişliği açısından sınırlandırıcı oluyor. Bu nedenle üreticiler, daha karmaşık paketleme yöntemlerine yöneliyor.

En önemli çözümlerden biri, TSMC'nin CoWoS teknolojisi. Bu yöntem, işlemci yongalarını, çipletleri ve yüksek hızlı belleği tek bir büyük kasada birleştirerek aralarındaki bağlantıların çok daha yoğun olmasını sağlıyor. TSMC, CoWoS'u gelişmiş 2,5D paketleme teknolojileri arasında konumlandırıyor ve modern HPC ile AI sistemlerinin temeli olarak görüyor.

CoWoS Nedir ve Neden Bu Kadar Önemli?

CoWoS'un açılımı Chip-on-Wafer-on-Substrate, yani "çipin plaka ve altlık üzerinde" anlamına geliyor. Karmaşık ismine rağmen temel fikir oldukça basit: Birden fazla yarı iletken bileşen, birbirine çok yakın yerleştiriliyor ve tek bir kasada, normal bir anakart ya da sunucu kartında mümkün olandan çok daha yoğun şekilde bağlanıyor.

Çipin üretimi ile paketlenmesini birbirinden ayırmak önemli. Önce silikon plakada transistörler oluşturulup hesaplama yongası şekillendiriliyor. Ardından bu yonga belleğe, enerjiye ve diğer bileşenlere bağlanıyor ve modül baskılı devre kartına monte ediliyor. İşte bu noktada advanced packaging - yani gelişmiş paketleme - devreye giriyor.

Klasik şemada, işlemci ve bellek ayrı entegre devreler olarak bulunur, aralarındaki veri baskılı devre kartı yollarından geçer. İletişim hızı arttıkça bağlantı uzunluğu, temas noktası sayısı ve elektriksel kayıplar daha fazla sorun çıkarır. GPU ile bellek arasında sürekli büyük veri akışlarının olduğu modern AI hızlandırıcılarda bu kısıtlar daha da belirgin hale gelir.

CoWoS bu sorunu interposer adı verilen bir ara katmanla çözüyor. Hesaplama yongası ya da birkaç çiplet, HBM yığınlarıyla birlikte bu ara katman üzerine yerleştiriliyor ve çok sayıda kısa iletkenle bağlanıyor. Böylece bileşenler fiziksel olarak çok yakın olurken, çok daha geniş arayüzlerle veri alışverişi yapabiliyor. TSMC, CoWoS'un birden fazla SoC, mantık çipleti ve HBM yığınını tek bir sistemde entegre edebildiğini vurguluyor.

Bu yaklaşım 2,5D paketleme olarak adlandırılıyor. Tam anlamıyla 3D entegrasyonun aksine (aktif yongalar üst üste dizilmez), klasik CoWoS'ta ana bileşenler ortak bir ara yapıda yan yana bulunur. Yine de bağlantı yoğunluğu, ayrı çiplerin kart üzerinde klasik montajına kıyasla çok daha yüksektir.

AI çiplerinde bu kritik bir avantaj. Hesaplama bloklarının sayısını artırmak ancak bir noktaya kadar kolaydır: GPU, bellekten veri alamazsa, ek işlem kaynakları boşa harcanır. Bu nedenle modern hızlandırıcıların gelişimi yalnızca üretim teknolojisi ve transistör sayısına değil, işlemciyle belleğin ne kadar etkin bir şekilde tek bir sistemde birleştirilebildiğine de bağlıdır.

CoWoS'un Yapısı: GPU, Interposer, HBM ve Altlık

İlk bakışta CoWoS modülü dev bir işlemciye benziyor olabilir, ancak aslında birden fazla bileşen içerir. Hesaplama yongası veya çipletler, yüksek hızlı bellek yığınlarının yanında yer alır; bunların altında ise bütün sistemi birleştiren ara yapı bulunur.

Bileşenlerin basitleştirilmiş dizilişi şöyle özetlenebilir:

• GPU veya hesaplama çipletleri
• HBM (High Bandwidth Memory)
• Interposer (ara katman)
• Kasa altlığı
• Baskılı devre kartı

Her katman kendi görevini üstlenir. GPU verileri işler, HBM bu verileri depolar ve hızla hesaplama bloklarına iletir, interposer yoğun bağlantı ağını kurar, altlık ise tüm modülün güç ve sistemle iletişimini sağlar.

Interposer: Sistemin Temeli

Interposer, işlemci ve belleklerin hemen altında yer alan son derece karmaşık, minyatür bir kart gibi düşünülebilir. Sıradan bir baskılı devreye göre çok daha yüksek bağlantı yoğunluğuna sahiptir.

Bu, GPU ile HBM arasında çok sayıda iletkenin yerleştirilmesini sağlar. Ayrı bellek yongalarına kıyasla çok daha geniş bir bellek veri yolu elde edilir ve aynı anda çok daha fazla veri iletilebilir.

Bu bağlantıların kısa olması da çok önemlidir. Elektrik sinyalinin bileşenler arasında ne kadar uzağa gitmesi gerekirse, yüksek hızda veri aktarımı ve düşük güç tüketimi sağlamak o kadar zorlaşır. CoWoS'ta işlemci ve bellek neredeyse yan yanadır.

Interposer'ın kendisi hesaplama yapmaz; görevi, farklı yarı iletken bileşenlerin neredeyse tek bir büyük çip gibi birlikte çalışabileceği bir altyapı sunmaktır.

HBM Neden Hesaplama Çipiyle Yan Yana Yerleştiriliyor?

Bir AI hızlandırıcıda yüksek işlem gücü, yalnızca GPU gerekli verileri zamanında alabildiğinde anlam kazanır. Büyük yapay zekâ modellerinin eğitimi ve çalıştırılması sırasında model ağırlıklarına, ara hesaplama sonuçlarına ve diğer büyük veri bloklarına sürekli erişilmesi gerekir.

GDDR gibi klasik bellekler de yüksek hız sunabilir; ancak HBM çok farklı bir yöntem kullanır. Birden fazla bellek yongası üst üste istiflenir ve dikey iletkenlerle bağlanır. Böylece kompakt boyutta, son derece geniş bir bellek arayüzü elde edilir.

HBM4: Yapay Zeka ve HPC için Yeni Nesil Bellek gibi çözümler, özellikle modern AI hızlandırıcıları için kritik olan yüksek bant genişliği yaklaşımını daha da ileri taşır.

CoWoS, bu tür bellek yığınlarının doğrudan GPU'nun yanına yerleştirilmesine olanak tanır. Veriler, interposer üzerinden çok sayıda paralel bağlantı aracılığıyla geçer, böylece işlemci belleğe çok daha hızlı erişir.

Bu yapının bir başka avantajı da yer tasarrufudur. Birden fazla HBM yığını ve bir veya birkaç işlemci yongası tek bir büyük modülde toplanabilir. Sunucu hızlandırıcılarında bu çok kritiktir, çünkü bir modül içinde giderek daha fazla hesaplama kaynağı ve bellek yerleştirilmesi gerekir.

Ancak bu paketlemenin karmaşıklığı da büyük ölçüde artar. Büyük yongaların ve HBM'nin hassas yerleştirilmesi, çok sayıda bağlantının kurulması, güç sağlanması ve aynı anda tüm sistemin ürettiği ısıyla başa çıkılması gerekir. Bu yüzden modern bir AI hızlandırıcı yalnızca güçlü bir GPU değil, aynı zamanda performansı büyük ölçüde bileşenlerin ne kadar etkin bağlandığına bağlı karmaşık bir sistemdir.

CoWoS Neden AI Çipleri İçin Bu Kadar Kritik?

AI hızlandırıcılarının performans artışı uzun süre transistor sayısı, yeni üretim süreçleri ve işlem bloklarının artışıyla ilişkilendirildi. Ancak günümüzün sinir ağları öyle yoğun veri alışverişi gerektiriyor ki artık yalnızca GPU'nun kendisi değil, belleğin veri iletim hızı da sınırlayıcı faktör haline geldi.

Büyük modellerin eğitimi sırasında hızlandırıcı, aynı anda çok sayıda matris işlemi yaparken sürekli model ağırlıklarına erişmek zorunda. Bellek istenen hızda veri iletemezse, işlem blokları boşta kalıyor. Bu nedenle AI sistemlerinde bellek bant genişliği, hızlandırıcının ham işlem gücüyle neredeyse eşdeğer önemde.

CoWoS, GPU'nun yanına birden fazla HBM yığınını çok geniş arayüzlerle bağlamayı mümkün kılıyor. TSMC, teknolojinin birden fazla işlemci bileşeni ve HBM'nin tek bir kasada entegre edilmesi için tasarlandığını ve bu sayede hem hesaplama gücü hem de bellek bant genişliğinin arttığını belirtiyor.

Aynı anda işlemci mimarisi de değişiyor. Tek bir devasa monolitik çip üretmek yerine, üreticiler artık genellikle farklı uzmanlaşmış bileşenleri bir araya getiriyor. Bu yaklaşımı Çipletler: İşlemcilerde Monolitik Kristallere Karşı Devrim başlıklı yazıda detaylıca bulabilirsiniz. Büyük bir yongayı küçük parçalara bölmek, hesaplama sistemlerinin ölçeklenmesini kolaylaştırıyor; ancak bu durumda aralarındaki bağlantıların kalitesi çok daha kritik hale geliyor.

AI hızlandırıcılarında bu sorun daha da karmaşık: Bir kasada birden fazla büyük bileşen (işlemci yongaları, arayüz blokları, birkaç HBM yığını vb.) bir arada yer alıyor. Modül içindeki bileşen sayısı arttıkça, yüksek hızlı bağlantı sağlamak da daha karmaşık ve enerji tüketimi açısından zorlaşıyor.

İşte burada gelişmiş paketleme, üretimin son adımı olmaktan çıkıyor. Paketlemenin kalitesi, bir hızlandırıcıda kaç yonga ve belleğin birleştirilebileceğini doğrudan belirliyor.

TSMC'nin CoWoS paketlerinin fiziksel boyutunu sürekli artırması da anlamlı. 2026'da şirket, 5,5 retikül boyutunda çözümler üreteceğini açıkladı; 2028 için ise yaklaşık 14 retikül ve 10 büyük yonga ile 20 HBM yığını içeren versiyon planlanıyor. Bu, gelecekteki AI sistemlerinin tek bir kasada daha fazla silikon ve belleğe ihtiyaç duyduğunu gösteriyor.

Ancak boyut artışı yeni mühendislik sorunlarını da beraberinde getiriyor: Yüksek hızlı sinyallerin bütünlüğü, çok sayıda bileşene güç sağlanması ve ısının uzaklaştırılması gibi. Paket büyüdükçe mekanik stabilite ve üretim verimi sağlamak zorlaşıyor.

Bu nedenle yapay zekâ ölçeklendirmesi bugün birden fazla düzeyde gerçekleşiyor: Transistörler geliştiriliyor, GPU performansı artıyor, HBM evrimleşiyor ve aynı anda paketleme teknolojileri karmaşıklaşıyor. Gelişmiş paketleme olmadan bu bileşenleri tek bir güçlü AI hızlandırıcıda birleştirmek çok daha zor olurdu.

TSMC verilerine göre, CoWoS'a olan talep özellikle 2022 sonundaki generatif AI dalgasından sonra hızla arttı. Şirket, aynı kasada daha fazla işlemci bileşeni ve belleği birleştirmek için platformun yeteneklerini sürekli genişletiyor.

Sonuç olarak CoWoS, modern AI endüstrisinin altyapı taşlarından biri oldu. GPU'nun işlem kapasitesini doğrudan arttırmasa da, işlemci yongaları ile belleği etkin bir şekilde birleştirerek bu kapasitenin tam kullanılmasını sağlıyor.

NVIDIA ve CoWoS: Güncel AI Hızlandırıcılarda Kullanımı

NVIDIA, gelişmiş paketlemenin yapay zekâ endüstrisi için neden bu kadar kritik olduğunu gösteren en önemli örneklerden biri. Şirketin modern hızlandırıcıları artık tek bir büyük GPU'dan ibaret değil; bir kasada birden fazla büyük işlemci yongası ve yüksek hızlı belleği birleştirip aralarında muazzam bant genişliğinde veri iletimi sağlamak gerekiyor.

Bunu Blackwell mimarisinde net şekilde görebilirsiniz. NVIDIA, tek bir Blackwell GPU'da iki büyük yonganın 10 TB/s bant genişliğine sahip bir arayüzle birbirine bağlandığını belirtiyor. Bu tasarım, 208 milyar transistörlü bir GPU elde etmeyi, daha da büyük tek bir yonga üretmeye çalışmadan mümkün kılıyor.

Ancak bu işlemci yongalarının yanına HBM de yerleştirilmeli. Burada CoWoS, genel yapının bir parçası olarak devreye giriyor: TSMC'nin teknolojisiyle birden fazla mantık yongası ve yüksek hızlı bellek yığını aynı ara yapı üzerinde toplanabiliyor. Böylece ayrı bileşenler fiziksel olarak bağımsız kalsa da, bir bütün olarak tek bir hesaplama modülü gibi çalışıyor.

Bu nesil hızlandırıcıların detaylarını NVIDIA B200 ve Blackwell Mimarisi: Yapay Zeka Donanımında Yeni Dönem başlıklı yazımızda bulabilirsiniz.

GB200 Grace Blackwell sistemi bu ölçeği çarpıcı biçimde ortaya koyuyor. Tek bir süper çip, NVIDIA Grace işlemci ile iki Blackwell GPU'yu birleştiriyor; GB200 NVL72 konfigürasyonu ise 36 Grace CPU ve 72 Blackwell GPU içeriyor. Tüm rafta 13,4 TB HBM3E bellek ve toplamda 576 TB/s bant genişliği sunuluyor.

Bu rakamlar, geliştiricilerin karşılaştığı yeni zorlukları gösteriyor. Artık hızlı bir işlemci yongası tasarlamak yetmiyor; ona sürekli dev veri akışı sağlayacak bir bellek sistemi de gerekiyor. Sistem bu noktada yavaş kalırsa, GPU'nun işlem blokları potansiyelini tam kullanamıyor.

Paketleme Neden Teknoloji Süreci Kadar Önemli?

Eskiden yeni nesil işlemciler, öncelikle daha gelişmiş üretim süreçleriyle anılırdı. Transistör boyutunun küçülmesi, aynı alana daha fazla işlemci yerleştirmeyi, güç tüketimini azaltmayı veya frekansı artırmayı sağlardı.

Bu mekanizma işliyor, ancak artık yalnızca transistör ölçeklendirmesi yetmiyor. Tek bir yonganın boyutu fotolitografi teknolojisiyle sınırlı ve devasa monolitik çipler üretmek gittikçe zorlaşıyor ve pahalılaşıyor. Bu yüzden sistemler birden fazla yongaya bölünüyor; böylece bu yongaların çok hızlı şekilde tekrar bir araya getirilmesi gerekiyor.

Blackwell mimarisi bu geçişi mükemmel şekilde gösteriyor. Tek bir GPU'daki iki büyük yonga, devasa bant genişliğine sahip bir arayüzle bağlanıyor ve yanında HBM yer alıyor. Böylece performans artışı birden çok teknolojiyle sağlanıyor: yeni üretim süreci, GPU mimarisi, yüksek hızlı bellek ve gelişmiş paketleme.

CoWoS, özellikle bu son seviyede ölçeklendirmeyi mümkün kılıyor. TSMC, tek bir paket üzerinde daha fazla mantık yongası ve HBM yığını yerleştirmek üzere platformu geliştiriyor. Şirket, CoWoS boyutunun büyütülmesini doğrudan AI sistemlerinin daha fazla hesaplama gücü ve bellek bant genişliği ihtiyacıyla ilişkilendiriyor.

Bunun sonucunda paketleme, geleceğin hızlandırıcılarının özelliklerini doğrudan belirleyen bir faktöre dönüşüyor. NVIDIA daha güçlü bir GPU tasarlasa bile, onu yeterli bellekle fiziksel olarak bağlamak, tüm bileşenlere güç sağlamak ve yoğun kasadan ısıyı uzaklaştırmak da gerekiyor.

Modern AI çiplerinin gelişimi, adeta tek bir kasada bütün bir hesaplama sisteminin tasarlanmasına benziyor. NVIDIA hızlandırıcı ve platform mimarisini tasarlarken, bellek üreticileri daha hızlı HBM nesilleri sunuyor; CoWoS gibi teknolojiler ise bu bileşenleri bir araya getiriyor. Bu entegrasyon olmadan AI hızlandırıcılarının boyut ve performansını artırmak çok daha güç olurdu.

CoWoS-S, CoWoS-R ve CoWoS-L: Farklı Versiyonlar ve Özellikleri

CoWoS, tek bir sabit yapı değil, bir dizi paketleme teknolojisi ailesidir. TSMC, farklı hızlandırıcıların alan, bağlantı yoğunluğu ve yonga-HBM yerleşimi ihtiyaçlarına göre birkaç varyant geliştiriyor: CoWoS-S, CoWoS-R ve CoWoS-L güncel ana versiyonlar olarak öne çıkıyor.

CoWoS-S

CoWoS-S, teknolojinin klasik versiyonu sayılabilir. Büyük bir silikon interposer üzerinde mantık yongaları ve HBM yığınları yer alır. Silikon, çok yoğun bir iletken ağı kurmaya olanak tanır ve bileşenler arası yüksek hızlı veri alışverişi için uygundur.

Bu yöntem yüksek bağlantı yoğunluğu sağlar, ancak interposer büyüdükçe üretim karmaşık ve pahalı hale gelir. TSMC'ye göre, CoWoS-S yaklaşık 3,3 retikül (2700 mm²) boyuta kadar silikon interposer'ları hedefliyor. Daha büyük paketler için CoWoS-R veya CoWoS-L öneriliyor.

CoWoS-R

CoWoS-R'da, büyük tek parça silikon interposer yerine RDL (Redistribution Layer - Yeniden Dağıtım Katmanı) tabanlı bir yapı kullanılıyor. Bu, polimer malzemeler ve bakır iletkenlerden oluşan çok katmanlı bir bağlantı ağı demek.

Bu yapı, daha büyük paketler üretmeye ve SoC ile HBM arasında yüksek hızlı bağlantıları korumaya olanak tanıyor. Ayrıca RDL, devasa silikon interposer'a göre daha fazla mekanik esneklik sunuyor ve farklı bileşenlerin termal genleşmesinden kaynaklanan gerilimleri azaltıyor. CoWoS-R, 2023'ten beri seri üretimde.

Yerel silikon yapılara göre bağlantı yoğunluğu düşük olsa da, CoWoS-R özellikle büyük alan ve çok sayıda bileşen gerektiren tasarımlar için avantajlıdır.

CoWoS-L

CoWoS-L, her iki yaklaşımın avantajlarını birleştiriyor. Ana yapı, RDL tabanlı büyük bir interposer'dan oluşurken, özellikle yüksek bağlantı yoğunluğu gereken noktalarda küçük yerleşik silikon bileşenler (LSI - Local Silicon Interconnect) kullanılıyor.

Böylece devasa bir silikon interposer üretmek gerekmez. Yüksek yoğunluklu silikon bağlantılar yalnızca belirli bileşenler arasında (örneğin iki işlemci yongası veya mantık ile HBM arasında) oluşturulur, diğer sinyaller ve güç ise geniş RDL yapısı üzerinden taşınır.

Bu melez yaklaşım, dev AI hızlandırıcılar için ideal. TSMC, 2024'te 3,5 retikül boyutunda CoWoS-L paketlerinin seri üretimine başladı ve tek bir modülde daha fazla işlemci ve HBM barındırmak için alanı artırmaya devam ediyor.

CoWoS sürümleri arasındaki farklar, işlemci paketlemesinin ne kadar karmaşık hale geldiğini gösteriyor. Artık amaç, hazır GPU'yu kasaya yerleştirmekten çok, tek bir modül içinde birden fazla yongadan oluşan yüksek hızlı bir sistem kurmak.

AI modelleri büyüdükçe bu yaklaşım daha da kritikleşiyor. Geleceğin hızlandırıcıları daha fazla yonga ve HBM yığını gerektirdiğinde, geleneksel silikon interposer boyutları hızla sınır haline gelecek. TSMC bu yüzden CoWoS-S, CoWoS-R ve CoWoS-L'yi aynı anda geliştiriyor: Her biri bağlantı yoğunluğu, kasa boyutu ve üretim karmaşıklığında farklı denge sunuyor.

Sonuç

CoWoS, modern yapay zekâ işlemcilerinin yapısının ne kadar değiştiğini gösteriyor. Artık bir AI hızlandırıcının performansı yalnızca GPU mimarisi ve üretim teknolojisine değil, işlemci yongalarının yüksek hızlı bellekle tek bir kasada ne kadar etkin entegre edilebildiğine de bağlı.

TSMC'nin teknolojisi sayesinde GPU, çipletler ve çoklu HBM yığınları yüksek yoğunluklu ortak bir bağlantı sisteminde bir araya getirilebiliyor. Bu sayede bileşenler arası mesafeler kısalıyor, bellek bant genişliği artıyor ve çok daha büyük işlem modülleri üretilebiliyor.

NVIDIA ve diğer AI hızlandırıcı üreticileri için bu hayati önem taşıyor: Sinir ağlarının büyümesi, aynı anda hem daha fazla hesaplama kaynağı hem de daha fazla bellek gerektiriyor. Tek bir devasa yongayı büyütmek artık yeterli değil, bu yüzden sektör giderek sıkı bağlı çoklu bileşenli sistemlere geçiyor.

CoWoS-S, CoWoS-R ve özellikle CoWoS-L'nin gelişimi, sektörün gittiği yönü gösteriyor. Paketler büyüyor, içlerinde daha fazla yonga ve HBM yer alıyor, bu bileşenlerin bağlantı teknolojisi ise AI donanımının ölçeklendirilmesinde anahtar faktöre dönüşüyor.

Bu nedenle CoWoS, yalnızca bir GPU'yu altlığa yerleştirme yöntemi değil, modern bir AI hızlandırıcının iç altyapısıdır. Yüksek hesaplama gücü ve bellek bant genişliğini tek bir modülde birleştirmek, bu teknoloji olmadan çok daha zor olurdu.