CoWoS erklärt: Revolutionäre Packaging-Technologie für NVIDIA KI-Chips

CoWoS ist eine innovative Packaging-Technologie für KI-Chips von NVIDIA und hat sich in den letzten Jahren zu einem zentralen Bestandteil moderner AI-Beschleuniger entwickelt. Die Rechenleistung eines einzelnen Chips reicht heute oft nicht mehr aus: Es muss eine enorme Menge schneller Speicher direkt neben dem Chip platziert werden, um Daten mit minimaler Latenz übertragen zu können.

CoWoS: Was steckt hinter dieser Packaging-Technologie?

Der Begriff CoWoS steht für Chip-on-Wafer-on-Substrate - "Chip auf Wafer auf Substrat". Die Grundidee: Mehrere Halbleiter-Komponenten werden extrem nah beieinander und innerhalb eines einzigen Gehäuses deutlich dichter miteinander verbunden, als es auf herkömmlichen Mainboards möglich wäre.

Bei der Fertigung von Halbleiter-Bauteilen unterscheidet man zwischen der Produktion des eigentlichen Chips und seiner Packaging-Phase. Zunächst entstehen auf dem Siliziumwafer die Transistoren und der Rechenkern. Anschließend muss dieser Chip mit Speicher, Stromversorgung und weiteren Komponenten verbunden und als Modul auf eine Platine gebracht werden. Hier kommt advanced packaging ins Spiel.

Im klassischen Aufbau sind CPU und Speicher getrennte Chips, zwischen denen Daten über Leiterbahnen auf der Platine übertragen werden. Je höher die geforderte Bandbreite, desto mehr wirken sich Leitungslängen, Kontaktzahlen und elektrische Verluste negativ aus. Für moderne AI-Beschleuniger, die riesige Datenmengen zwischen GPU und Speicher bewegen, werden diese Einschränkungen zum Flaschenhals.

Das Prinzip CoWoS: Interposer als Schlüsselkomponente

Die CoWoS-Technologie von TSMC setzt auf einen sogenannten Interposer - eine Zwischenschicht, auf der Rechenchip(s) und mehrere HBM-Speicherstacks dicht nebeneinander angeordnet und mit zahlreichen kurzen Leitungen verbunden werden. Dadurch befinden sich die Komponenten physisch nah beieinander und können über breite Schnittstellen extrem schnell Daten austauschen.

TSMC klassifiziert CoWoS als 2.5D-Packaging und sieht darin die Basis für moderne HPC- und KI-Systeme. Mehrere SoCs, Logik-Chiplets und HBM-Speicher lassen sich so auf engstem Raum effizient integrieren.

Wie funktioniert CoWoS im Detail?

Ein CoWoS-Modul sieht auf den ersten Blick wie ein riesiger Prozessor aus, enthält aber mehrere Komponenten: Rechenkristall(e), HBM-Speicherstacks und darunter den Interposer, der alles verbindet.

• GPU oder Rechenchiplets
• HBM-Speicher
• Interposer
• Substrat (Gehäusebasis)
• Leiterplatte

Jede Ebene übernimmt eine Funktion: Die GPU verarbeitet Daten, HBM speichert und liefert sie blitzschnell, der Interposer schafft dichte Verbindungen, und das Substrat sorgt für die Anbindung an das Gesamtsystem.

Der Interposer - Miniaturisierte Hightech-Basis

Der Interposer ist eine extrem komplexe, miniaturisierte Leiterplatte direkt unterhalb von Chip und Speicher. Im Gegensatz zu klassischen Platinen ermöglicht er eine viel höhere Verbindungsdichte - so entstehen breite Speicherbusse mit vielen parallelen Leitungen zwischen GPU und HBM.

Besonders wichtig: Die Leitungen sind extrem kurz, was hohe Übertragungsraten bei niedrigem Energieverbrauch ermöglicht. Der Interposer selbst berechnet nichts, sondern stellt die Infrastruktur für die Kommunikation bereit.

Warum wird HBM direkt neben dem Rechenkristall platziert?

Hohe Rechenleistung ist bei AI-Beschleunigern nur dann sinnvoll, wenn der Speicher die nötigen Daten rechtzeitig liefert. HBM (High Bandwidth Memory) setzt auf gestapelte Speicherchips (Stacks), die vertikal miteinander verbunden sind - das ergibt eine enorme Speicherbandbreite auf kleinem Raum.

Mehr dazu erfahren Sie im Beitrag HBM4 - das neue Zeitalter für KI- und HPC-Speicher.

CoWoS ermöglicht die direkte Platzierung mehrerer HBM-Stacks neben der GPU. Die Daten laufen über den Interposer auf vielen parallelen Kanälen - deutlich schneller als bei weiter entferntem Speicher.

Ein weiterer Vorteil: Platzersparnis. Mehrere HBM-Stacks und Rechenkristalle lassen sich in einem kompakten Gehäuse unterbringen - unabdingbar für Server-Beschleuniger, die maximale Rechen- und Speicherleistung auf kleinstem Raum fordern. Allerdings steigt mit der Komplexität auch die Herausforderung beim Packaging deutlich.

Warum ist CoWoS für KI-Chips so entscheidend?

Über viele Jahre galt: Mehr Transistoren, neuer Fertigungsprozess, mehr Kerne - so wuchs die Leistungsfähigkeit von AI-Beschleunigern. Doch heutige neuronale Netze verlangen derart intensive Datenströme, dass nicht mehr nur die GPU, sondern auch der Speicherzugriff zum Flaschenhals wird.

Beim Training großer Modelle muss der Beschleuniger zahllose Matrixoperationen ausführen und ständig auf Modellgewichte und Zwischenergebnisse zugreifen. Kommt der Speicher nicht mit, stehen selbst leistungsfähige Recheneinheiten still.

CoWoS bringt mehrere HBM-Stacks direkt an die GPU und verbindet sie mit extrem breiten Schnittstellen. TSMC hebt hervor, dass sich so mehrere Rechenkomponenten und Speicher effizient im selben Gehäuse integrieren lassen - mit entsprechend gesteigerter Rechenleistung und Bandbreite.

Gleichzeitig ändert sich die Prozessorarchitektur: Statt einem riesigen Monolithen setzen Hersteller zunehmend auf Chiplets - spezialisierte Einzelchips, die gemeinsam ein großes System bilden. Ausführlich beleuchtet dies der Beitrag Chiplets in Prozessoren: Die Zukunft der Architektur. Der Nachteil: Die Anforderungen an die Verbindungen steigen enorm, besonders bei mehreren großen Komponenten in einem Modul.

CoWoS als advanced packaging ist deshalb längst kein nachgelagerter Fertigungsschritt mehr, sondern entscheidend für die Leistungsfähigkeit des gesamten Systems. TSMC arbeitet daran, die physikalischen Dimensionen von CoWoS weiter zu vergrößern - etwa auf Gehäuse mit bis zu zehn großen Rechenkristallen und zwanzig HBM-Stacks. Das zeigt: Künftige KI-Systeme benötigen immer mehr Silizium und Speicher im selben Modul.

Mit wachsender Größe nehmen auch die technischen Herausforderungen zu: Signalqualität, Stromversorgung, Kühlung und mechanische Stabilität werden immer anspruchsvoller. Hersteller arbeiten daher gleichzeitig an Transistoren, GPU-Designs, HBM-Generationen und den Packaging-Technologien. Ohne Packaging wie CoWoS wären leistungsfähige AI-Beschleuniger in dieser Form kaum realisierbar.

So setzt NVIDIA CoWoS in modernen AI-Beschleunigern ein

NVIDIA ist ein Paradebeispiel, warum advanced packaging für die KI-Branche so wichtig geworden ist. Moderne Beschleuniger bestehen längst nicht mehr nur aus einem einzelnen großen GPU-Chip: Im Gehäuse müssen mehrere große Rechenkristalle und HBM-Stacks eng verbunden und mit enormer Bandbreite kommunizieren.

Die Blackwell-Architektur zeigt das deutlich: Ein Blackwell-GPU besteht aus zwei großen Chips, verbunden über eine 10 TB/s-Schnittstelle. So sind GPUs mit 208 Milliarden Transistoren realisierbar, ohne einen riesigen Monolithen fertigen zu müssen.

Direkt neben den Rechenkristallen finden sich HBM-Stacks - hier wird CoWoS zum Bindeglied: TSMC ermöglicht die Integration mehrerer Logik-Chips und schnellen Speichers auf einem gemeinsamen Interposer. So arbeiten die Komponenten als einheitliches Modul, auch wenn sie physisch getrennt bleiben.

Mehr Details zur Blackwell-Generation finden Sie im Beitrag NVIDIA B200 und die Blackwell-Architektur: Der neue Standard für KI-Beschleuniger.

Der Superchip GB200 Grace Blackwell etwa kombiniert einen NVIDIA Grace-Prozessor mit zwei Blackwell-GPUs; die NVL72-Konfiguration enthält 36 Grace-CPUs und 72 Blackwell-GPUs sowie 13,4 TB HBM3E-Speicher mit 576 TB/s Bandbreite.

Diese Zahlen zeigen: Es reicht nicht mehr, nur schnelle Rechenkristalle zu bauen - die Speicheranbindung ist ebenso kritisch. Ist sie zu langsam, bleiben die GPU-Kerne unterfordert.

Packaging: Fast so wichtig wie der Fertigungsprozess

Früher bedeutete ein neues Prozessorgeneration oft einfach einen fortschrittlicheren Fertigungsprozess mit kleineren Transistoren. Heute jedoch ist die Größe einzelner Chips durch die Lithografie limitiert, und gigantische Monolithen sind kaum noch wirtschaftlich herstellbar.

Hersteller zerlegen Systeme in mehrere Chips, die wiederum hochleistungsfähig verbunden werden müssen. Die Blackwell-Architektur etwa verbindet zwei große Chips im selben GPU-Gehäuse über eine ultraschnelle Schnittstelle und platziert den HBM direkt daneben. Der Performance-Sprung entsteht so aus dem Zusammenspiel von Fertigungsprozess, Architektur, Speicher und Packaging.

CoWoS ist der Schlüssel zur Skalierung: TSMC entwickelt die Plattform stetig weiter, um immer mehr Logikchips und HBM-Stacks in einem Gehäuse unterzubringen. Die Größe des Packages wird zunehmend zum limitierenden Faktor - unabhängig von der GPU-Architektur.

Somit erinnert die Entwicklung moderner AI-Chips immer mehr an das Design ganzer Rechensysteme im Miniaturformat eines einzigen Moduls. Ohne fortschrittliches Packaging wie CoWoS wäre das Zusammenführen von GPU, Speicher und Infrastruktur auf engstem Raum kaum möglich.

CoWoS-S, CoWoS-R und CoWoS-L: Die Varianten im Überblick

CoWoS ist kein starres Design, sondern eine ganze Familie von Packaging-Technologien. TSMC bietet verschiedene Varianten, um den unterschiedlichen Anforderungen an Fläche, Verbindungsdichte und Integration Rechnung zu tragen: CoWoS-S, CoWoS-R und CoWoS-L.

CoWoS-S: Das klassische Silizium-Interposer-Design

CoWoS-S nutzt einen großen Silizium-Interposer, auf dem Logikchips und HBM-Stacks platziert werden. Die hohe Verbindungsdichte ermöglicht extrem schnelle Datenübertragung, ist aber auf Interposergrößen von etwa 3,3 Reticles (ca. 2700 mm²) limitiert - größere Silizium-Interposer werden schnell teuer und komplex.

CoWoS-R: Flexible Packages mit RDL-Strukturen

Bei CoWoS-R kommt eine RDL-Struktur (Redistribution Layer) aus Polymeren und Kupfer zum Einsatz. Dadurch lassen sich größere Packages mit hoher Geschwindigkeit und mehr Komponenten realisieren. Zudem ist so eine Struktur mechanisch flexibler - ein Vorteil bei unterschiedlichen thermischen Ausdehnungen. Seit 2023 ist CoWoS-R in der Massenfertigung.

CoWoS-L: Hybrid-Ansatz für maximale Skalierung

CoWoS-L kombiniert beide Ansätze: Ein großer RDL-basierter Interposer wird lokal durch kleine Silizium-Module (Local Silicon Interconnects) mit besonders hoher Verbindungsdichte ergänzt - etwa direkt zwischen zwei Rechenkristallen oder zwischen Logik und HBM. So lassen sich riesige AI-Beschleuniger-Module mit gezielt eingesetzten Hochleistungsverbindungen herstellen. Seit 2024 produziert TSMC CoWoS-L-Pakete mit 3,5 Reticles Fläche in Serie - Tendenz steigend.

Die Unterschiede zwischen den CoWoS-Versionen spiegeln den Wandel im Packaging wider: Heute geht es um die Integration ganzer Hochleistungsrechner im Maßstab eines einzigen Moduls.

Fazit

CoWoS steht für den fundamentalen Wandel in der Entwicklung moderner KI-Prozessoren. Die Performance von AI-Beschleunigern hängt heute entscheidend davon ab, wie effizient Rechenkristalle und HBM-Speicher auf engstem Raum zu einer Einheit verschmolzen werden können.

Dank TSMCs Technologie lassen sich GPU, Chiplets und mehrere HBM-Stacks in einem hochdichten Netzwerk zusammenführen. Das verringert Signalwege, steigert die Speicherbandbreite und ermöglicht deutlich größere Module mit mehr Rechenleistung.

Für NVIDIA und andere Hersteller ist das unverzichtbar: Mit der Größe der neuronalen Netze wächst auch der Bedarf an Rechenleistung und Speicher. Klassische monolithische Chips stoßen an ihre Grenzen - stattdessen geht der Trend zu Systemen aus mehreren eng gekoppelten Komponenten.

Die Weiterentwicklung von CoWoS-S, CoWoS-R und vor allem CoWoS-L markiert den Weg der Branche: Die Packages werden größer, enthalten mehr Rechenkristalle und HBM, und das Packaging selbst wird zum Schlüsselfaktor für die Skalierung von KI-Hardware.

CoWoS ist somit weit mehr als nur eine Montageoption für GPUs - es ist die Infrastruktur moderner KI-Beschleuniger, ohne die sich immense Rechenleistung und Speicherbandbreite in einem Modul kaum realisieren ließen.