NVIDIA NVLink: как работает сверхбыстрый обмен данными между GPU

Современные вычисления всё чаще упираются не только в мощность отдельного процессора или видеокарты, но и в скорость обмена данными между ними. Один GPU способен выполнять огромный объём параллельных операций, однако обучение крупных нейросетей, научные расчёты и работа с моделями на сотни миллиардов параметров требуют уже десятков и сотен ускорителей.

NVIDIA NVLink - это высокоскоростная технология соединения GPU и других вычислительных компонентов, созданная для быстрого обмена данными между ними. Она позволяет уменьшить задержки и значительно увеличить пропускную способность по сравнению с обычным взаимодействием через PCIe. Благодаря этому множество ускорителей можно объединить в тесно связанную вычислительную систему, где данные постоянно перемещаются между GPU.

Что такое NVIDIA NVLink и зачем он нужен

NVLink можно представить как отдельную сверхбыструю магистраль между графическими процессорами. Если обычная система использует PCIe как универсальный канал связи между процессором, видеокартой, накопителями и другими устройствами, то NVLink рассчитан прежде всего на интенсивный обмен данными между вычислительными ускорителями.

Это особенно важно в задачах, которые невозможно эффективно выполнить на одном GPU. Например, большая нейросеть может не помещаться целиком в память одного ускорителя. Тогда её параметры распределяются между несколькими GPU, и в процессе работы устройства должны постоянно передавать друг другу промежуточные результаты вычислений.

Без быстрого канала связи часть производительности теряется на ожидании данных. Даже если каждый GPU способен выполнять триллионы операций в секунду, он может простаивать, пока информация приходит от соседнего ускорителя. Поэтому при масштабировании вычислительной системы скорость межсоединения становится почти такой же важной, как производительность самих GPU.

NVLink снижает эту проблему за счёт прямого высокоскоростного обмена между ускорителями. Данные могут передаваться от одного GPU к другому без необходимости постоянно использовать центральный процессор как посредника. Это уменьшает задержку и освобождает PCIe от части нагрузки.

При этом NVLink не превращает несколько видеокарт в одну буквально. Операционная система и приложения по-прежнему видят отдельные GPU с собственной памятью и вычислительными ресурсами. Чтобы использовать их совместно, программное обеспечение должно уметь распределять вычисления и данные между несколькими ускорителями.

Поэтому выражение "объединить видеокарты" здесь означает не создание одного физического GPU, а организацию настолько быстрого обмена между несколькими процессорами, чтобы они могли эффективно выполнять общую задачу. Именно этот принцип лежит в основе современных AI-серверов и крупных вычислительных кластеров NVIDIA.

Как работает NVLink и как объединяются несколько GPU

NVLink работает как выделенный канал связи между вычислительными процессорами. Вместо того чтобы отправлять данные по общей системной шине, GPU получают возможность напрямую обмениваться большими объёмами информации через высокоскоростные линии NVLink.

Каждая такая линия передаёт данные между связанными устройствами, а несколько линий могут использоваться одновременно. Чем больше доступных соединений, тем выше суммарная пропускная способность между GPU. Для задач искусственного интеллекта это особенно важно: ускорители постоянно обмениваются тензорами, частями модели и результатами промежуточных вычислений.

Прямое соединение GPU

В относительно небольшой системе несколько GPU могут быть связаны между собой напрямую. Тогда данные передаются от одного ускорителя к другому без постоянного прохождения через центральный процессор.

Представим, что большая нейросеть разделена между двумя GPU. Первый ускоритель вычисляет один участок модели, после чего результат необходимо немедленно передать второму. Чем быстрее произойдёт эта передача, тем меньше времени второй GPU проведёт в ожидании.

В обычной системе обмен между устройствами часто связан с PCIe и архитектурой памяти сервера. NVLink создаёт значительно более быстрый путь для такого взаимодействия, благодаря чему параллельные вычисления лучше масштабируются при добавлении новых ускорителей.

Однако прямые соединения становятся сложнее по мере увеличения количества GPU. Связать между собой два или четыре ускорителя относительно просто, но в системе с десятками процессоров невозможно эффективно прокладывать отдельное физическое соединение между каждой парой.

NVSwitch: когда двух GPU уже недостаточно

Для крупных систем NVIDIA использует NVSwitch - специализированный высокоскоростной коммутатор для NVLink. По своему принципу он напоминает сетевой коммутатор, только вместо обычных компьютеров и Ethernet-пакетов соединяет GPU и обслуживает их внутренний обмен данными.

Несколько ускорителей подключаются к NVSwitch, а коммутатор направляет данные между ними. Благодаря этому GPU могут взаимодействовать не только со своими непосредственными соседями, но и с другими ускорителями внутри единой NVLink-инфраструктуры.

Это позволяет создавать топологии, близкие к all-to-all, когда каждый GPU получает высокоскоростной доступ к другим участникам вычислительной системы. Для программ это намного удобнее, чем сложная сеть отдельных соединений, где скорость передачи могла бы сильно зависеть от расположения конкретных ускорителей.

В крупных серверных решениях используется уже несколько NVSwitch. Вместе они формируют NVLink-фабрику - внутреннюю сеть, связывающую десятки GPU в одном вычислительном домене.

Именно на этом уровне становится понятна идея "одного гигантского вычислителя". Физически система всё ещё состоит из множества самостоятельных GPU, каждый со своими ядрами и памятью. Но быстрый межпроцессорный обмен позволяет распределять одну огромную вычислительную задачу между всеми ускорителями и гораздо эффективнее использовать их совместную производительность.

Скорость NVLink и чем он отличается от PCIe

Главное преимущество NVLink - пропускная способность. В современных AI-системах объёмы данных между ускорителями настолько велики, что обычный интерфейс подключения устройств может превратиться в узкое место даже при использовании самых мощных GPU.

Разница особенно заметна по мере развития технологии. NVLink четвёртого поколения в архитектуре Hopper обеспечивал до 900 ГБ/с пропускной способности на GPU, пятое поколение в Blackwell увеличило показатель до 1,8 ТБ/с, а NVLink 6 для платформы Rubin - до 3,6 ТБ/с. Речь идёт о суммарной двунаправленной пропускной способности всех NVLink-соединений конкретного ускорителя.

PCIe гораздо универсальнее. Через него к процессору подключаются видеокарты, сетевые адаптеры, NVMe-накопители и множество других устройств. NVLink, напротив, решает более узкую задачу: обеспечивает интенсивный обмен между вычислительными процессорами там, где обычной системной шины становится недостаточно.

Поэтому утверждение, что NVLink просто является "более быстрым PCIe", не совсем верно. Интерфейсы проектировались для разных ролей. PCIe связывает компоненты компьютера или сервера с общей системой, а NVLink создаёт высокоскоростную вычислительную фабрику между GPU.

Особенно важна не только максимальная скорость, но и задержка. При распределённых вычислениях ускорители могут обмениваться небольшими порциями данных огромное количество раз. Если каждая такая операция занимает слишком много времени, задержки постепенно складываются и снижают производительность всей системы.

Кроме того, NVLink и PCIe не являются взаимоисключающими технологиями. Один сервер может одновременно использовать PCIe для связи GPU с центральным процессором и периферийными устройствами, а NVLink - для интенсивного обмена непосредственно между ускорителями.

Хороший пример - современные ускорители Blackwell: они используют PCIe для подключения к хост-системе и одновременно NVLink пятого поколения с пропускной способностью до 1,8 ТБ/с для связи между GPU. У Rubin этот показатель увеличивается до 3,6 ТБ/с.

Именно поэтому скорость NVLink становится особенно важной при масштабировании. Добавить ещё один мощный GPU относительно просто. Гораздо сложнее сделать так, чтобы десятки таких ускорителей постоянно обменивались данными и не простаивали в ожидании друг друга. В крупных вычислительных системах производительность межсоединения постепенно становится одним из ключевых факторов общей скорости.

Зачем NVLink нужен нейросетям и суперкомпьютерам

Чем крупнее нейросеть, тем сложнее разместить её на одном GPU. Ограничением становится не только вычислительная мощность, но и объём видеопамяти. Если модель занимает сотни гигабайт или даже терабайты, её параметры приходится распределять между несколькими ускорителями.

В таком режиме GPU постоянно обмениваются данными. Один ускоритель обрабатывает свою часть модели, передаёт промежуточный результат следующему, а тот продолжает вычисления. Если межсоединение работает медленно, мощные GPU начинают простаивать, ожидая данные друг от друга.

NVLink уменьшает этот простой за счёт высокой пропускной способности и низкой задержки. Особенно заметен эффект при обучении нейросетей, где между ускорителями регулярно синхронизируются градиенты, параметры и промежуточные тензоры. Чем больше GPU участвует в задаче, тем выше требования к скорости такого обмена.

Это важно и для архитектур Mixture of Experts. В них разные части модели могут работать на разных ускорителях, а запросы динамически направляются к нужным экспертам. В результате внутри системы постоянно перемещаются большие объёмы данных, и производительность напрямую зависит от качества связи между GPU.

Подробнее о принципе работы таких моделей можно прочитать в материале "MoE модель (Mixture of Experts): как нейросеть выбирает нужных экспертов".

NVLink используется не только во время обучения. При инференсе больших моделей параметры также могут быть распределены между несколькими ускорителями. Это позволяет запускать нейросети, которые физически не помещаются в память одного GPU.

Похожая ситуация возникает в научных вычислениях и HPC. Моделирование климата, физики материалов, аэродинамики, молекулярных процессов и других сложных систем часто разбивается на множество параллельных задач. Отдельные GPU обрабатывают свои участки данных, но должны регулярно обмениваться результатами.

Поэтому в крупных вычислительных системах недостаточно просто установить больше ускорителей. Если связь между ними остаётся медленной, добавление новых GPU даёт всё меньший прирост. NVLink решает именно эту проблему: помогает системе масштабироваться не только по количеству процессоров, но и по скорости их взаимодействия.

NVLink сегодня: от двух видеокарт к вычислительным стойкам

Первые версии NVLink часто ассоциировались с рабочими станциями и системами из нескольких видеокарт. Однако со временем назначение технологии заметно изменилось. NVIDIA практически сместила её из пользовательского сегмента в сторону дата-центров, суперкомпьютеров и инфраструктуры для искусственного интеллекта.

Современный NVLink уже правильнее воспринимать не как "мостик между двумя видеокартами", а как полноценную высокоскоростную сеть внутри вычислительной системы. Особенно хорошо это видно на поколении Blackwell. Пятое поколение NVLink позволяет объединять до 72 GPU Blackwell в одном NVLink-домене, а пропускная способность каждого ускорителя достигает 1,8 ТБ/с. Для сравнения, в системах Hopper типичный крупный NVLink-домен включал восемь GPU с пропускной способностью до 900 ГБ/с на ускоритель.

Такой переход фактически изменил сам масштаб технологии. Вместо нескольких ускорителей внутри одного сервера NVIDIA теперь строит целые вычислительные стойки, где десятки GPU связаны NVSwitch и работают в общей высокоскоростной фабрике.

Следующее поколение - NVLink 6 для платформы Vera Rubin - увеличивает пропускную способность до 3,6 ТБ/с на GPU. В системе Vera Rubin NVL72 объединяются 72 GPU Rubin и 36 CPU Vera, а общая пропускная способность NVLink-фабрики внутри стойки достигает примерно 260 ТБ/с.

Именно такие системы показывают, почему выражение "гигантский вычислитель" становится всё менее условным. Отдельные GPU сохраняют собственные вычислительные блоки и HBM-память, но NVLink и NVSwitch создают между ними настолько быстрый канал обмена, что программное обеспечение может распределять одну крупную модель по всей стойке.

Особенно востребован такой подход для современных моделей с огромным количеством параметров и архитектур Mixture of Experts. Если необходимые данные постоянно находятся на разных ускорителях, производительность определяется уже не только скоростью Tensor Cores, но и тем, насколько быстро информация перемещается между GPU.

Развитие NVLink продолжается и дальше. NVIDIA рассматривает эту технологию как scale-up network - сеть для масштабирования вычислений внутри одного большого домена. В дорожной карте NVLink Fusion предусмотрено расширение таких доменов вплоть до 1152 ускорителей с использованием новых способов соединения, включая оптические технологии.

Поэтому современный NVLink стал частью более крупной архитектурной идеи: дата-центр перестаёт быть просто набором отдельных серверов и постепенно превращается в единый вычислительный комплекс, где процессоры, GPU, память и сеть проектируются совместно.

Эта концепция особенно хорошо видна в архитектуре следующего поколения NVIDIA. Подробнее о ней можно прочитать в материале "NVIDIA Vera Rubin: новая архитектура для масштабного искусственного интеллекта".

Заключение

NVIDIA NVLink решает одну из ключевых проблем современных вычислительных систем - медленный обмен данными между множеством мощных GPU. По мере роста нейросетей и научных задач производительность всё чаще зависит не только от скорости самих ускорителей, но и от того, насколько быстро они способны взаимодействовать друг с другом.

Вместе с NVSwitch технология позволяет объединять десятки GPU в единую высокоскоростную вычислительную среду. При этом NVLink не заменяет PCIe и не превращает несколько ускорителей в одну физическую видеокарту. Его задача - обеспечить быстрый обмен данными внутри распределённых вычислений, чтобы GPU как можно меньше простаивали в ожидании друг друга.

Для обычного игрового ПК NVLink сегодня практически не имеет значения. Основная сфера технологии - AI-инфраструктура, HPC и крупные дата-центры, где модели и вычисления уже невозможно эффективно разместить на одном ускорителе. Именно там скорость межсоединения становится одним из главных факторов масштабирования системы.

Поэтому развитие NVLink хорошо показывает, куда движется современная вычислительная техника: вместо постоянного увеличения мощности одного процессора индустрия всё чаще объединяет множество специализированных чипов в общий вычислительный комплекс. И чем крупнее становятся такие системы, тем важнее оказывается не только скорость вычислений, но и скорость передачи данных между ними.