CoWoS : Le Secret de l'Emballage des Puces IA NVIDIA et la Révolution HBM

CoWoS est devenu un mot-clé central dans le monde de l'emballage des puces IA NVIDIA, une technologie qui a évolué d'un terme pointu de la microélectronique à un pilier incontournable des accélérateurs d'intelligence artificielle modernes. Aujourd'hui, la puissance d'un seul die ne suffit plus : il faut placer à proximité une énorme quantité de mémoire rapide, tout en garantissant un transfert de données avec une latence minimale.

Pourquoi CoWoS est-il essentiel pour les accélérateurs NVIDIA ?

Les accélérateurs NVIDIA illustrent parfaitement ce besoin : plusieurs dies de calcul sont associés à des piles de mémoire HBM (High Bandwidth Memory). Sur une carte mère classique, cette disposition limite la densité de connexion, la consommation et la bande passante, poussant les fabricants à adopter des méthodes d'emballage bien plus sophistiquées.

La technologie CoWoS développée par TSMC permet d'assembler dans un même boîtier des dies, chiplets et mémoires rapides, en créant entre eux des connexions d'une densité inégalée. Classée comme une technologie d'emballage avancée " 2.5D ", CoWoS s'impose comme la base des systèmes HPC et IA de nouvelle génération.

CoWoS : principe et avantages

L'acronyme CoWoS signifie " Chip-on-Wafer-on-Substrate " (puce sur tranche sur substrat). L'idée : placer plusieurs composants semi-conducteurs très proches pour des connexions internes beaucoup plus denses qu'avec une carte mère classique.

Il faut distinguer la fabrication du die et son emballage. Après fabrication, le die doit être connecté à la mémoire, à l'alimentation, puis intégré à la carte. C'est ici qu'intervient l'advanced packaging ou emballage avancé.

Dans une architecture classique, processeur et mémoire sont séparés ; la vitesse d'échange est alors limitée par la distance, le nombre de contacts et les pertes électriques. Or, pour les accélérateurs IA qui déplacent d'immenses volumes de données entre GPU et mémoire, ces limites sont vite atteintes.

L'interposeur, cœur du CoWoS

CoWoS résout ce problème grâce à un interposeur, une couche intermédiaire sur laquelle sont montés les dies de calcul et les piles HBM, reliés par un grand nombre de connexions courtes et parallèles. Cela permet une communication extrêmement rapide via des interfaces larges, TSMC indiquant que CoWoS peut intégrer plusieurs SoC, chiplets logiques et piles HBM dans un seul module.

On parle d'emballage 2.5D : les composants ne sont pas empilés verticalement (comme en 3D), mais côte à côte sur la même structure, offrant tout de même une densité de connexion bien supérieure à celle d'un câblage conventionnel.

La mémoire HBM : proche du calcul, essentielle à l'IA

Pour un accélérateur IA, la puissance n'a de sens que si le GPU reçoit les données à temps. Les réseaux neuronaux nécessitent une consultation rapide et constante des poids du modèle, des résultats intermédiaires et d'autres gros volumes d'informations.

Alors que la mémoire GDDR reste rapide, la HBM adopte une approche différente : plusieurs dies sont empilés verticalement et reliés, ce qui multiplie la largeur d'interface pour un encombrement réduit. C'est le principe fondateur des générations HBM, de plus en plus crucial pour l'IA et le HPC.

Pour aller plus loin sur ce sujet, découvrez tout sur HBM4, la nouvelle génération de mémoire pour l'intelligence artificielle et le HPC.

Avec CoWoS, ces piles de HBM sont placées juste à côté du GPU, accélérant considérablement l'accès aux données et économisant de l'espace, un impératif pour les modules serveurs de plus en plus denses.

Architecture du module CoWoS : GPU, interposeur, HBM & substrat

Un module CoWoS ressemble extérieurement à un gigantesque processeur, mais il renferme plusieurs éléments distincts : die(s) de calcul, piles HBM, interposeur et substrat.

• GPU ou chiplets de calcul
• HBM
• Interposeur
• Substrat du boîtier
• Carte mère

Chaque niveau a son rôle : le GPU traite les données, la HBM les stocke et les transmet, l'interposeur densifie les connexions, et le substrat assure alimentation et intégration système.

L'interposeur : une " mini-carte " ultra-dense

L'interposeur se distingue par une densité de connexion bien supérieure à celle d'une carte classique, autorisant des bus mémoire très larges et des signaux courts pour limiter la perte de performance et la consommation liée à la distance.

Il ne traite aucune donnée ; il fournit l'infrastructure pour que les différents composants fonctionnent presque comme un unique circuit intégré.

Pourquoi la proximité HBM/GPU est capitale

L'accès aux données doit suivre la cadence des calculs. La HBM, grâce à son empilement vertical et à ses interconnexions, offre à la fois bande passante et compacité. En plaçant les piles HBM au plus près du GPU via l'interposeur, CoWoS maximise la vitesse et l'efficacité du module, tout en permettant une plus grande densité de composants dans le boîtier.

Cette architecture compacte complique toutefois la fabrication : l'assemblage requiert une précision extrême et le contrôle thermique devient un enjeu majeur.

CoWoS : un facteur clé pour l'essor des puces IA

Jusqu'à récemment, l'augmentation de puissance des accélérateurs IA dépendait principalement du nombre de transistors et du raffinement du process de gravure. Mais la vitesse d'accès mémoire est désormais aussi cruciale que la puissance de calcul.

Grâce à CoWoS, plusieurs piles HBM peuvent être connectées au GPU via des interfaces d'une largeur exceptionnelle. TSMC précise que la technologie est conçue pour intégrer plusieurs blocs logiques et mémoires dans un même boîtier, augmentant simultanément puissance de calcul et bande passante.

Les architectures processeur évoluent : au lieu d'agrandir à l'infini un die monolithique, on assemble plusieurs composants spécialisés. Pour comprendre cette révolution, lisez notre dossier sur les chiplets, la révolution contre les dies monolithiques.

Cette modularité impose des exigences extrêmes sur la connectique interne, et donc sur la qualité de l'emballage avancé qui devient un facteur déterminant de la performance finale.

CoWoS, une plateforme évolutive pour l'IA de demain

TSMC ne cesse d'agrandir la surface possible pour CoWoS. En 2026, des modules jusqu'à 5,5 réticles seront produits, et d'ici 2028, des versions à 14 réticles sont prévues, capables d'intégrer dix dies de calcul et vingt piles HBM dans un même boîtier.

Ce gigantisme pose de nouveaux défis d'intégrité du signal, d'alimentation et de dissipation thermique. L'emballage s'impose ainsi comme une composante essentielle de la scalabilité de l'IA, au même titre que les transistors ou la mémoire.

L'exemple NVIDIA : CoWoS au cœur des accélérateurs IA

NVIDIA illustre à quel point l'emballage avancé est devenu crucial. Les derniers accélérateurs, comme ceux basés sur l'architecture Blackwell, assemblent plusieurs dies de calcul et piles HBM dans un même module.

Le GPU Blackwell, par exemple, intègre deux gros dies reliés par une interface à 10 To/s, cumulant 208 milliards de transistors sans recourir à un die unique géant. La mémoire HBM est placée à proximité immédiate, et l'ensemble est interconnecté grâce à CoWoS, permettant à chaque composant de fonctionner comme un module unifié.

Pour une analyse approfondie, consultez notre article sur NVIDIA B200 et l'architecture Blackwell : le nouveau standard des accélérateurs IA.

Le superchip GB200 Grace Blackwell combine un CPU Grace et deux GPU Blackwell ; la configuration NVL72 comprend 36 CPU Grace et 72 GPU Blackwell, avec 13,4 To de mémoire HBM3E et 576 To/s de bande passante : des chiffres qui montrent que la réussite ne dépend plus seulement du GPU mais aussi de la mémoire et de la qualité d'intégration.

L'emballage, désormais presque aussi crucial que la gravure

Hier, le saut de génération en processeurs était synonyme de gravure plus fine. Désormais, la limite de taille des dies, la complexité et le coût poussent à fragmenter le système en plusieurs dies, qu'il devient essentiel de connecter à des vitesses extrêmes pour ne pas limiter la performance globale.

L'architecture Blackwell illustre cette évolution : deux gros dies, une interface interne ultra-rapide, HBM à proximité immédiate. Les performances proviennent d'une synergie entre gravure avancée, nouvelle architecture, mémoire rapide et emballage sophistiqué.

CoWoS est le vecteur de cette intégration, TSMC adaptant sans cesse sa plateforme pour répondre à la demande croissante de puissance et de bande passante des systèmes IA.

CoWoS-S, CoWoS-R, CoWoS-L : quelles différences ?

CoWoS n'est pas une technologie unique mais une famille de plateformes d'emballage avancé, chacune adaptée à des besoins différents en surface, densité de connexion et agencement.

CoWoS-S

Version " classique " avec un large interposeur en silicium, sur lequel sont placés les dies logiques et les piles HBM. Cette méthode permet une densité extrême de connexions, idéale pour les échanges à très haute vitesse, mais la fabrication d'interposeurs de grande taille devient complexe et coûteuse au-delà de 3,3 réticles (environ 2700 mm²).

CoWoS-R

Ici, l'interposeur silicium est remplacé par une structure RDL (Redistribution Layer), composée de couches polymères et de conducteurs cuivre. Cette approche permet des emballages plus vastes, avec une flexibilité mécanique supérieure et un coût maîtrisé, au prix d'une densité de connexion légèrement inférieure. CoWoS-R est en production de masse depuis 2023.

CoWoS-L

Hybride, combinant RDL pour la structure principale et du silicium local (LSI) uniquement là où une densité maximale est requise, par exemple entre deux dies de calcul ou entre logique et HBM. Ce compromis optimise la production et l'intégration de modules IA géants. TSMC a lancé la production de CoWoS-L à 3,5 réticles en 2024, et continue d'étendre l'offre.

La diversité de ces variantes démontre que l'emballage est passé du simple " montage sur substrat " à la conception d'une véritable architecture système à l'intérieur d'un même boîtier.

Conclusion

CoWoS incarne la mutation profonde de la conception des processeurs IA modernes. Désormais, la performance ne dépend plus seulement de l'architecture GPU ou de la finesse de gravure, mais aussi de l'art d'assembler au plus près les dies de calcul et la mémoire rapide dans un même module.

La technologie TSMC permet à NVIDIA et à d'autres concepteurs d'assembler plusieurs chiplets et piles HBM sur une infrastructure d'interconnexion à haute densité, réduisant les distances, augmentant la bande passante, et ouvrant la voie à des modules toujours plus grands et puissants.

À mesure que les modèles d'IA grossissent, ces innovations en emballage deviennent centrales : l'industrie passe des dies monolithiques à des systèmes de composants étroitement liés. L'évolution de CoWoS-S, CoWoS-R et CoWoS-L trace ainsi la feuille de route du hardware IA pour les années à venir, où l'emballage avancé n'est plus une option mais une nécessité structurelle.