NVIDIA NVLink: Revolución en la Interconexión de GPU para IA y Supercomputación

NVIDIA NVLink es una tecnología clave que revoluciona la forma en que varias GPU trabajan juntas como un solo supercomputador. En el mundo actual de la computación avanzada, el rendimiento ya no depende solo de la potencia de cada procesador o tarjeta gráfica, sino también de la velocidad de intercambio de datos entre ellos. Aunque una sola GPU puede ejecutar miles de millones de operaciones en paralelo, entrenar grandes redes neuronales, realizar cálculos científicos o trabajar con modelos de cientos de miles de millones de parámetros requiere decenas o incluso cientos de aceleradores.

¿Qué es NVIDIA NVLink y para qué sirve?

NVLink es una tecnología de interconexión de alta velocidad desarrollada por NVIDIA para conectar GPU y otros componentes de cómputo, permitiendo un intercambio de datos mucho más rápido que el tradicional PCIe. Esto reduce la latencia y aumenta drásticamente el ancho de banda, posibilitando que múltiples aceleradores formen un sistema de computación altamente conectado donde los datos se mueven constantemente entre GPU.

Se puede imaginar NVLink como una autopista ultrarrápida exclusiva entre procesadores gráficos. Mientras que el PCIe funciona como un canal universal para conectar el procesador, tarjetas gráficas, discos y otros dispositivos, NVLink está diseñado principalmente para el intercambio intensivo de datos entre aceleradores de cómputo.

Esto es crucial para tareas que no pueden ser completadas eficientemente por una sola GPU. Por ejemplo, una red neuronal grande puede no caber completamente en la memoria de un acelerador, por lo que sus parámetros se distribuyen entre varias GPU, las cuales deben intercambiar resultados intermedios de manera constante durante el procesamiento.

Sin un canal rápido de comunicación, parte de la potencia de cómputo se pierde esperando datos. Aunque cada GPU sea capaz de ejecutar billones de operaciones por segundo, podría estar inactiva mientras espera información de otra. Por eso, al escalar sistemas, la velocidad de interconexión se vuelve tan clave como la potencia bruta de las GPU.

NVLink resuelve este desafío al permitir el intercambio directo y veloz de datos entre aceleradores, sin depender siempre del procesador central como intermediario, reduciendo así la latencia y liberando al PCIe de parte de la carga.

Sin embargo, NVLink no funde varias tarjetas en una sola GPU física. El sistema operativo y las aplicaciones siguen viendo GPU independientes, cada una con su propia memoria y recursos. Para aprovecharlas en conjunto, el software debe distribuir los cálculos y los datos entre los diferentes aceleradores.

Por eso, "unir varias tarjetas gráficas" no significa crear una sola GPU, sino organizar un intercambio de datos tan rápido que varios procesadores puedan trabajar eficientemente en una tarea común. Este principio es la base de los servidores de IA modernos y los grandes clústeres de computación de NVIDIA.

¿Cómo funciona NVLink y cómo se agrupan varias GPU?

NVLink opera como un canal dedicado entre procesadores de cómputo. En lugar de enviar datos por el bus del sistema, las GPU pueden intercambiar información directamente a través de líneas NVLink de alta velocidad.

Cada línea transfiere datos entre dispositivos conectados, y se pueden usar varias líneas en paralelo. Cuantos más enlaces disponibles, mayor el ancho de banda total entre GPU. Esto es especialmente vital en IA, donde los aceleradores intercambian constantemente tensores, partes de modelos y resultados intermedios.

Conexión directa entre GPU

En sistemas pequeños, varias GPU pueden conectarse directamente. Así, los datos pasan de un acelerador a otro sin que el procesador central intervenga constantemente.

Imagina una red neuronal grande dividida entre dos GPU: la primera calcula una parte del modelo y debe transmitir el resultado a la segunda lo más rápido posible para evitar esperas.

En arquitecturas tradicionales, el intercambio depende del PCIe y la memoria del servidor. NVLink ofrece un camino mucho más rápido, mejorando la escalabilidad cuando se agregan nuevos aceleradores.

Sin embargo, a medida que el número de GPU crece, las conexiones directas se complican. Conectar dos o cuatro aceleradores es sencillo, pero en sistemas con decenas de procesadores no es eficiente establecer enlaces físicos entre cada par.

NVSwitch: cuando dos GPU ya no son suficientes

Para sistemas más grandes, NVIDIA emplea NVSwitch, un conmutador de alta velocidad para NVLink que, como un switch de red, conecta varias GPU y gestiona su intercambio interno de datos.

Los aceleradores se conectan al NVSwitch, que dirige los datos entre ellos, permitiendo que cada GPU acceda a todas las demás dentro de la infraestructura NVLink.

Esto facilita crear topologías all-to-all, donde cada GPU tiene acceso rápido a las demás, simplificando el desarrollo de software y evitando cuellos de botella por la ubicación de los aceleradores.

En soluciones de servidor avanzadas, varios NVSwitch trabajan juntos formando una "fábrica NVLink", una red interna que conecta decenas de GPU en un mismo dominio de cómputo.

A este nivel, la idea de "un supercomputador gigante" cobra sentido. Físicamente hay muchas GPU independientes con sus propios núcleos y memoria, pero el intercambio veloz permite distribuir una sola tarea enorme entre todos los aceleradores, aprovechando al máximo su capacidad conjunta.

Velocidad de NVLink y diferencias frente a PCIe

El principal beneficio de NVLink es el ancho de banda. En sistemas de IA, los volúmenes de datos entre aceleradores son tan grandes que la interfaz tradicional puede convertirse en un cuello de botella, incluso con GPU muy potentes.

La diferencia se ha hecho más notable con la evolución de la tecnología. NVLink de cuarta generación en arquitectura Hopper ofrecía hasta 900 GB/s por GPU; la quinta generación en Blackwell llega a 1,8 TB/s, y NVLink 6 en Rubin alcanza los 3,6 TB/s. Estos valores son la suma de todos los enlaces NVLink de cada acelerador.

PCIe es mucho más versátil, pues conecta tarjetas gráficas, adaptadores de red, discos NVMe y otros dispositivos al procesador. NVLink, en cambio, se especializa en el intercambio intensivo de datos entre procesadores donde el bus del sistema resulta insuficiente.

Por eso, decir que NVLink es simplemente "un PCIe más rápido" es incorrecto: cada interfaz fue diseñada para roles distintos. PCIe conecta los componentes del sistema, mientras que NVLink crea una red de cómputo de alta velocidad entre GPU.

Además de la velocidad máxima, la latencia es crítica. En cálculos distribuidos, las GPU pueden intercambiar pequeñas cantidades de datos miles de veces; si cada operación tarda demasiado, la suma de las latencias reduce el rendimiento global.

NVLink y PCIe no son tecnologías excluyentes. Un servidor puede usar PCIe para conectar GPU con el procesador central y periféricos, y NVLink para el intercambio intensivo entre aceleradores.

Por ejemplo, los aceleradores Blackwell modernos usan PCIe para conectarse al sistema principal y, simultáneamente, NVLink de quinta generación (1,8 TB/s) para la comunicación entre GPU. En Rubin, este valor sube a 3,6 TB/s.

Por eso, la velocidad de NVLink se vuelve esencial al escalar sistemas: añadir una GPU potente es sencillo, pero lograr que decenas de aceleradores trabajen sin cuellos de botella requiere una interconexión ultrarrápida.

¿Por qué NVLink es esencial para redes neuronales y supercomputadoras?

Cuanto mayor es una red neuronal, más difícil es alojarla en una sola GPU, no solo por potencia de cálculo, sino por la memoria de vídeo disponible. Si un modelo ocupa cientos de GB o incluso TB, sus parámetros deben distribuirse entre varios aceleradores.

En este modo, las GPU intercambian datos constantemente: un acelerador procesa su parte del modelo, envía el resultado al siguiente, y así sucesivamente. Si la interconexión es lenta, las GPU esperan y pierden eficiencia.

NVLink reduce estos tiempos muertos gracias a su gran ancho de banda y baja latencia. Esto es aún más notorio durante el entrenamiento de redes neuronales, donde los aceleradores sincronizan gradientes, parámetros y tensores intermedios de forma continua. Cuantas más GPU participen, mayores serán los requisitos de velocidad.

Esto es crucial en arquitecturas Mixture of Experts, donde distintas partes del modelo se ejecutan en diferentes aceleradores y los datos fluyen dinámicamente según el experto requerido. Así, la eficiencia depende directamente de la calidad del enlace entre GPU.

Para comprender mejor cómo funcionan estos modelos, consulta el siguiente artículo: MoE (Mixture of Experts): cómo las redes neuronales usan solo las partes necesarias.

NVLink también es útil durante la inferencia de grandes modelos, ya que los parámetros pueden estar repartidos en varios aceleradores, permitiendo ejecutar redes neuronales que no caben en la memoria de una sola GPU.

Situaciones similares se presentan en la computación científica y HPC, donde simulaciones complejas (clima, materiales, aerodinámica, procesos moleculares) se dividen en tareas paralelas gestionadas por diferentes GPU, que deben intercambiar resultados regularmente.

Por tanto, en sistemas a gran escala, no basta con instalar más aceleradores: si la conexión entre ellos es lenta, el rendimiento adicional es marginal. NVLink resuelve este problema, permitiendo escalar tanto en número de procesadores como en la velocidad de su interacción.

NVLink hoy: de dos tarjetas gráficas a racks completos

Las primeras versiones de NVLink se asociaban a estaciones de trabajo con varias tarjetas gráficas. Sin embargo, con el tiempo, la tecnología ha migrado al ámbito de centros de datos, supercomputadoras e infraestructuras de IA.

Actualmente, NVLink debe entenderse no como un simple "puente" entre dos tarjetas, sino como una red interna de alta velocidad dentro de sistemas de computación. Esto es evidente en la generación Blackwell, donde la quinta generación de NVLink permite unir hasta 72 GPU Blackwell en un solo dominio NVLink, con un ancho de banda de hasta 1,8 TB/s por acelerador. En comparación, en sistemas Hopper, el dominio típico incluía ocho GPU y 900 GB/s por acelerador.

Este cambio ha transformado la escala de la tecnología: NVIDIA ahora construye racks enteros donde decenas de GPU están interconectadas mediante NVSwitch y operan en una única "fábrica" de cómputo.

La próxima generación, NVLink 6 en la plataforma Vera Rubin, eleva el ancho de banda a 3,6 TB/s por GPU. En el sistema Vera Rubin NVL72, se agrupan 72 GPU Rubin y 36 CPU Vera, y la red interna alcanza los 260 TB/s de capacidad.

Estas configuraciones demuestran por qué la idea de un "supercomputador gigante" es cada vez más real. Las GPU siguen siendo entidades independientes con sus bloques de cómputo y memoria HBM, pero NVLink y NVSwitch crean canales de intercambio tan veloces que el software puede distribuir grandes modelos a lo largo de todo el rack.

Este enfoque es especialmente relevante para modelos modernos con cantidades masivas de parámetros y arquitecturas Mixture of Experts. Cuando los datos relevantes residen en diferentes aceleradores, el rendimiento depende no solo de la velocidad de los Tensor Cores, sino de qué tan rápido fluyen los datos entre GPU.

El desarrollo de NVLink continúa: NVIDIA lo considera una red scale-up para ampliar la computación dentro de un gran dominio. El roadmap de NVLink Fusion prevé dominios de hasta 1.152 aceleradores utilizando nuevas tecnologías, incluida la óptica.

Así, NVLink es parte de una visión más amplia: el centro de datos deja de ser un simple conjunto de servidores para transformarse en un complejo de cómputo integrado, donde procesadores, GPU, memoria y red se diseñan en conjunto.

Esta filosofía se aprecia claramente en la arquitectura de próxima generación de NVIDIA. Más detalles en el artículo: NVIDIA Vera Rubin: una nueva arquitectura para la inteligencia artificial a gran escala.

Conclusión

NVIDIA NVLink soluciona uno de los mayores retos de los sistemas de cómputo modernos: el intercambio lento de datos entre múltiples GPU potentes. Con el crecimiento de las redes neuronales y las aplicaciones científicas, el rendimiento ya no depende solo de la velocidad de los aceleradores individuales, sino de cuán rápido pueden colaborar entre sí.

Junto con NVSwitch, la tecnología permite agrupar decenas de GPU en un entorno informático de alta velocidad. NVLink no reemplaza a PCIe ni convierte varios aceleradores en una sola tarjeta física; su misión es optimizar el intercambio de datos en cálculos distribuidos, reduciendo los tiempos de espera entre GPU.

Para un PC gamer, NVLink hoy día tiene poca relevancia. Su principal aplicación está en la infraestructura de IA, HPC y grandes centros de datos, donde ya no es viable ejecutar modelos o cálculos complejos en un único acelerador. En estos entornos, la velocidad de interconexión es un factor clave para escalar sistemas.

El desarrollo de NVLink es un claro ejemplo de la evolución de la computación: en vez de aumentar indefinidamente la potencia de un solo procesador, la industria avanza hacia la integración de múltiples chips especializados en un supercomputador colectivo. Y cuanto más grandes se vuelven estos sistemas, más vital es tanto la velocidad de cálculo como la rapidez en la transmisión de datos entre ellos.