NVIDIA NVLink: Die schnelle Datenautobahn für KI und Supercomputer

NVIDIA NVLink ist eine Hochgeschwindigkeits-Technologie, mit der mehrere GPU zu einem äußerst leistungsfähigen Rechenverbund zusammengeschlossen werden können. In modernen Anwendungen stößt die Leistungsfähigkeit nicht mehr nur an die Grenzen einzelner Prozessoren oder Grafikkarten, sondern wird maßgeblich von der Geschwindigkeit des Datenaustauschs zwischen ihnen bestimmt. Ob beim Training großer neuronaler Netze, wissenschaftlichen Simulationen oder Modellen mit Hunderten Milliarden Parametern - der Bedarf an schnellen Verbindungen zwischen Dutzenden oder Hunderten von Beschleunigern wächst stetig.

Was ist NVIDIA NVLink und wofür wird es benötigt?

NVLink lässt sich als eigene, extrem schnelle Datenautobahn zwischen Grafikprozessoren (GPUs) verstehen. Während herkömmliche Systeme auf PCIe als universellen Kommunikationskanal setzen, ist NVLink speziell für den intensiven Austausch großer Datenmengen zwischen Rechenbeschleunigern entwickelt worden.

Das ist besonders bei Aufgaben entscheidend, die auf einem einzelnen GPU nicht effizient lösbar sind. Beispielsweise passt ein großes neuronales Netzwerk oft nicht komplett in den Speicher einer einzelnen Grafikkarte. Die Parameter müssen auf mehrere GPUs aufgeteilt werden, die im Verlauf der Berechnungen ständig Zwischenergebnisse austauschen müssen.

Fehlt eine schnelle Verbindung, geht wertvolle Rechenzeit durch das Warten auf Daten verloren. Selbst die leistungsstärksten GPUs können stillstehen, wenn sie auf Informationen von anderen Beschleunigern warten müssen. Deshalb wird die Geschwindigkeit der Interconnects beim Ausbau von Rechensystemen fast genauso wichtig wie die Rechenleistung der GPUs selbst.

NVLink löst dieses Problem durch einen direkten, schnellen Datenaustausch zwischen GPUs. Die Daten wandern so ohne Umweg über die CPU von einer Grafikkarte zur nächsten, was Latenzen reduziert und PCIe entlastet.

NVLink verschmilzt allerdings nicht mehrere Grafikkarten zu einer einzigen Hardware-Einheit. Das Betriebssystem und Anwendungen sehen weiterhin eigenständige GPUs mit separatem Speicher und eigenen Ressourcen. Um die Leistung gemeinsam zu nutzen, muss die Software die Berechnungen und Daten gezielt zwischen den Beschleunigern verteilen.

"GPUs verbinden" bedeutet also nicht, einen einzigen physischen Prozessor zu erschaffen, sondern eine so schnelle Verbindung zu schaffen, dass mehrere Prozessoren gemeinsam eine Aufgabe effizient bearbeiten können. Genau dieses Prinzip ist das Fundament moderner KI-Server und großer NVIDIA-Cluster.

Wie funktioniert NVLink? Zusammenschluss mehrerer GPUs

NVLink fungiert als dedizierter Kommunikationskanal zwischen Rechenprozessoren. Statt Daten über den gemeinsamen Systembus zu senden, können GPUs über NVLink-Leitungen große Datenmengen direkt austauschen. Je mehr NVLink-Verbindungen zur Verfügung stehen, desto höher ist die Gesamtdurchsatzrate zwischen den GPUs. Besonders bei KI-Anwendungen, wo ständig Tensoren, Modellteile und Zwischenergebnisse übertragen werden, ist das essenziell.

Direkte GPU-Verbindungen

In kleineren Systemen können mehrere GPUs direkt miteinander verbunden werden. Daten gelangen dann direkt von einem Beschleuniger zum anderen, ohne ständig die CPU passieren zu müssen. Ein Beispiel: Ein großes neuronales Netzwerk ist auf zwei GPUs verteilt. GPU eins berechnet einen Teil, das Ergebnis muss sofort an GPU zwei weitergegeben werden. Je schneller das gelingt, desto weniger Wartezeit entsteht.

In typischen Systemen erfolgt dieser Austausch über PCIe und den Speichersubsystemen des Servers. NVLink bietet hierfür einen deutlich schnelleren Pfad, wodurch parallele Berechnungen beim Hinzufügen weiterer GPUs besser skalieren.

Mit wachsender Anzahl an GPUs wird die direkte physische Verbindung jedoch komplex. Während zwei oder vier Karten noch relativ einfach zu verbinden sind, ist es bei Dutzenden von Prozessoren unmöglich, jede Paarung direkt zu verbinden.

NVSwitch: Wenn zwei GPUs nicht mehr reichen

Für große Systeme setzt NVIDIA auf NVSwitch - einen spezialisierten Hochgeschwindigkeits-Switch für NVLink. Er funktioniert ähnlich wie ein Netzwerkswitch, verbindet jedoch GPUs miteinander und verwaltet deren internen Datenaustausch.

Mehrere GPUs werden an einen NVSwitch angebunden und der Switch leitet die Daten zwischen ihnen weiter. So können alle GPUs innerhalb einer NVLink-Infrastruktur miteinander kommunizieren - nicht nur direkte Nachbarn, sondern sämtliche Beschleuniger im System.

Dies ermöglicht nahezu vollständige all-to-all-Topologien, bei denen jeder GPU schnellen Zugang zu allen anderen Teilnehmern des Rechenclusters erhält. Für Programme ist das um ein Vielfaches effizienter als ein Netz aus Einzelverbindungen, bei denen der Datendurchsatz von der jeweiligen Anordnung abhängt.

In großen Servern kommen oft mehrere NVSwitches zum Einsatz. Gemeinsam bilden sie eine NVLink-Fabric - ein internes Netzwerk, das Dutzende GPUs zu einem einzigen Rechendomäne vereint.

Genau auf diesem Niveau wird das Konzept des "gigantischen Rechenbeschleunigers" greifbar. Physisch besteht das System weiterhin aus vielen eigenständigen GPUs, doch durch den schnellen Austausch können riesige Aufgaben auf alle verteilt und die gemeinsame Leistung optimal genutzt werden.

NVLink-Geschwindigkeit und Unterschiede zu PCIe

Das Hauptargument für NVLink ist die Bandbreite. In modernen KI-Systemen sind die zwischen GPUs ausgetauschten Datenmengen so enorm, dass klassische Anschlüsse wie PCIe selbst bei leistungsstärkster Hardware zum Flaschenhals werden können.

PCIe ist vielseitiger: Hierüber werden Grafikkarten, Netzwerkkarten, NVMe-SSDs und viele weitere Komponenten mit dem Prozessor verbunden. NVLink hingegen löst eine spezifische Aufgabe - den intensiven, schnellen Austausch zwischen Rechenbeschleunigern, wenn der Systembus an seine Grenzen stößt.

NVLink ist also nicht einfach nur "ein schnelleres PCIe". Die Schnittstellen wurden für verschiedene Rollen entwickelt: PCIe verbindet Komponenten mit dem Gesamtsystem, NVLink schafft eine spezielle, ultraschnelle Recheninfrastruktur zwischen GPUs.

Wichtig ist neben der Maximallgeschwindigkeit auch die Latenz. Bei verteilten Berechnungen tauschen GPUs unzählige Male kleine Datenpakete aus. Ist jede einzelne Übertragung zu langsam, summieren sich die Latenzen und bremsen das Gesamtsystem.

NVLink und PCIe sind zudem keine konkurrierenden Technologien. In einem Server kann PCIe weiterhin für die Verbindung zwischen CPU, GPUs und Peripherie genutzt werden, während NVLink für den schnellen Austausch zwischen den GPUs zuständig ist.

Ein aktuelles Beispiel sind die Blackwell-Beschleuniger von NVIDIA: Sie nutzen PCIe für die Verbindung zum Host-System und parallel NVLink der fünften Generation mit bis zu 1,8 TB/s Bandbreite für die Inter-GPU-Kommunikation. Bei Rubin steigt dieser Wert auf 3,6 TB/s.

Die Geschwindigkeit von NVLink wird also gerade beim Ausbau großer Systeme zum Schlüsselfaktor: Zusätzliche GPUs sind schnell installiert - aber erst wenn sie mit hoher Bandbreite kommunizieren, lässt sich die Systemleistung wirklich steigern.

Warum ist NVLink für neuronale Netze und Supercomputer unverzichtbar?

Je größer ein neuronales Netz, desto schwieriger ist es, dieses auf einer einzelnen GPU unterzubringen. Nicht nur die Rechenleistung, sondern auch der verfügbare Speicher wird zum Engpass. Modelle mit Hunderten von Gigabyte oder gar Terabyte müssen zwangsläufig auf mehrere GPUs verteilt werden.

Im Betrieb tauschen die GPUs permanent Daten aus: Jede bearbeitet ihren Modellteil, gibt Zwischenergebnisse weiter und erhält neue Daten von anderen. Ist die Verbindung langsam, stehen selbst die schnellsten GPUs untätig herum und warten auf Input.

NVLink minimiert diese Leerlaufzeiten durch hohe Bandbreite und geringe Latenz. Besonders spürbar ist das beim Training von neuronalen Netzen, wo regelmäßig Gradienten, Parameter und Zwischentensoren synchronisiert werden müssen. Je mehr GPUs beteiligt sind, desto höher die Anforderungen an die Geschwindigkeit des Austauschs.

Auch für Mixture-of-Experts-Architekturen ist das entscheidend: Verschiedene Modellteile laufen auf unterschiedlichen GPUs, Anfragen werden dynamisch an die passenden Experten verteilt. Die Leistung dieser Architektur hängt direkt von der Qualität der Verbindung zwischen den GPUs ab.

Mehr zum Funktionsprinzip solcher Modelle finden Sie im Beitrag "MoE Modell (Mixture of Experts): Wie neuronale Netze gezielt Experten nutzen".

Aber NVLink kommt nicht nur beim Training zum Einsatz. Auch beim Inferenz großer Modelle können die Parameter auf mehrere Beschleuniger verteilt werden, sodass selbst riesige Netze, die nicht in eine einzelne GPU passen, genutzt werden können.

Eine ähnliche Situation gibt es in der Wissenschaft und im High-Performance-Computing (HPC): Ob Klimasimulation, Materialphysik, Aerodynamik oder Molekularprozesse - überall werden komplexe Aufgaben in viele parallele Teilprobleme zerlegt, die von separaten GPUs bearbeitet und regelmäßig synchronisiert werden müssen.

Für wirklich große Systeme reicht es also nicht, einfach mehr Beschleuniger zu installieren. Wenn die Verbindung langsam bleibt, bringt jeder zusätzliche GPU immer weniger. NVLink löst dieses Skalierungsproblem: Es beschleunigt nicht nur die Anzahl der Prozessoren, sondern vor allem deren reibungslosen Austausch.

NVLink heute: Von zwei Grafikkarten zum Rack im Rechenzentrum

Die ersten NVLink-Versionen waren vor allem in Workstations mit mehreren Grafikkarten verbreitet. Inzwischen hat sich der Fokus der Technologie deutlich verschoben: NVIDIA konzentriert sich heute auf Data Center, Supercomputer und KI-Infrastrukturen.

Moderne NVLink-Systeme sind nicht mehr "Brücken" zwischen zwei Grafikkarten, sondern vollwertige, ultraschnelle Netzwerke innerhalb eines Rechenclusters. Besonders deutlich wird das in der Blackwell-Generation: Bis zu 72 GPUs können mit NVLink 5 in einem einzigen Domäne zusammengeschlossen werden, jeder Beschleuniger erreicht Bandbreiten bis zu 1,8 TB/s - im Vergleich zu acht GPUs und 900 GB/s pro Beschleuniger in Hopper-Systemen.

Damit hat sich die Technologie grundlegend gewandelt. NVIDIA baut längst ganze Rechenracks, in denen Dutzende GPUs über NVSwitch zu einer gemeinsamen Hochgeschwindigkeits-Infrastruktur verbunden sind.

Die nächste Generation - NVLink 6 für die Vera Rubin-Plattform - steigert die Bandbreite auf 3,6 TB/s pro GPU. In Vera Rubin NVL72 werden 72 Rubin-GPUs und 36 Vera-CPUs kombiniert, die interne NVLink-Fabric erreicht dabei rund 260 TB/s Gesamtbandbreite.

Solche Systeme zeigen, warum der Begriff "gigantischer Rechner" immer weniger metaphorisch ist. Die einzelnen GPUs besitzen weiterhin eigene Recheneinheiten und HBM-Speicher, doch durch NVLink und NVSwitch entsteht ein derart schneller Austausch, dass große Modelle problemlos auf die gesamte Infrastruktur verteilt werden können.

Das ist besonders bei modernen Modellen mit extrem vielen Parametern und Mixture-of-Experts-Architekturen gefragt. Je häufiger Daten zwischen GPUs wandern, desto wichtiger wird die Verbindungsqualität - nicht nur die Geschwindigkeit der Tensor-Kerne entscheidet über die Gesamtleistung, sondern auch der Datendurchsatz zwischen den Beschleunigern.

Die Entwicklung von NVLink geht konsequent weiter. NVIDIA sieht diese Technologie als "scale-up network" - ein Netzwerk zur Skalierung von Berechnungen im Rahmen eines großen Rechendomäne. Auf der Roadmap von NVLink Fusion ist eine Erweiterung auf bis zu 1.152 Beschleuniger mit neuen Verbindungstechnologien, darunter optische Schnittstellen, vorgesehen.

NVLink ist damit Teil einer umfassenderen Architektur geworden: Das Data Center entwickelt sich vom klassischen Serververbund zu einem einheitlichen Rechenkomplex, in dem CPUs, GPUs, Speicher und Netzwerk gemeinsam designt werden.

Diese Vision zeigt sich besonders deutlich in der nächsten NVIDIA-Architektur. Mehr dazu finden Sie im Beitrag "NVIDIA Vera Rubin: Revolutionäre KI-Beschleuniger-Architektur".

Fazit

NVIDIA NVLink beseitigt einen der größten Engpässe moderner Rechensysteme: den langsamen Datenaustausch zwischen vielen leistungsfähigen GPUs. Mit dem Wachstum von KI-Modellen und wissenschaftlichen Simulationen zählt längst nicht mehr nur die Rechenpower jedes einzelnen Beschleunigers, sondern ebenso die Geschwindigkeit, mit der sie zusammenarbeiten können.

Gemeinsam mit NVSwitch ermöglicht NVLink, Dutzende GPUs in einer ultraschnellen Rechenumgebung zu vereinen. Wichtig: NVLink ersetzt PCIe nicht und verwandelt mehrere Grafikkarten auch nicht in eine einzige physische Einheit. Sein Zweck ist es, innerhalb verteilter Berechnungen einen schnellen Datenaustausch zu ermöglichen und Leerlaufzeiten zu minimieren.

Für klassische Gaming-PCs spielt NVLink heute kaum noch eine Rolle. Der Fokus liegt klar auf KI-Infrastruktur, HPC und großen Data Centern, wo einzelne Beschleuniger längst nicht mehr ausreichen. Genau dort wird die Interconnect-Performance zu einem der wichtigsten Faktoren für die Skalierung der Systeme.

Die Entwicklung von NVLink zeigt damit den Weg der modernen Rechentechnik: Statt immer nur die Leistung eines einzelnen Prozessors zu steigern, werden zunehmend spezialisierte Chips zu einem gemeinsamen Rechenkomplex verbunden. Und je größer solche Systeme werden, desto wichtiger wird nicht nur die Geschwindigkeit der Berechnungen, sondern auch der Datenaustausch zwischen den Komponenten.