RDMA: Como a Transferência Direta de Memória Revoluciona Data Centers

RDMA (Remote Direct Memory Access) está revolucionando a forma como servidores transferem grandes volumes de dados entre nós computacionais. Com a tecnologia RDMA, o adaptador de rede pode mover dados diretamente entre as áreas de memória dos servidores, sem exigir que o processador central processe cada bloco transferido. Isso reduz cópias de dados, diminui a carga da CPU e reduz a latência das trocas de informações - fatores essenciais para data centers e ambientes de alta performance.

O que é RDMA e por que ele é importante

RDMA significa Remote Direct Memory Access, ou acesso remoto direto à memória. O princípio é simples: o hardware de rede de um servidor pode ler ou gravar dados diretamente em uma área específica da RAM de outro servidor, desde que essa área tenha sido previamente registrada e autorizada para tal acesso.

Ao contrário da transferência tradicional, onde dados passam pelo sistema operacional, pilha de protocolos e diversos buffers, o RDMA permite que o caminho seja encurtado. O adaptador de rede - chamado de RNIC (RDMA Network Interface Card) - usa o mecanismo de DMA (Direct Memory Access) para interagir diretamente com a memória, minimizando a intervenção do processador.

• Zero-copy: dados não precisam ser copiados várias vezes entre buffers intermediários.
• Kernel bypass: reduz o envolvimento do kernel do sistema operacional nas operações de rede, diminuindo context switches e latências.

Vale destacar que o processador ainda desempenha papéis essenciais: iniciar aplicativos, configurar conexões e registrar áreas de memória. O RDMA simplesmente libera a CPU das tarefas repetitivas de cópia e processamento durante a transferência.

Como funciona o RDMA: do registro de memória ao envio de dados

Registro de áreas de memória

Antes de transferir dados via RDMA, a aplicação registra a região da RAM que será utilizada. O sistema operacional fixa estas páginas de memória e informa ao adaptador de rede suas localizações físicas, liberando-as de possíveis remapeamentos de endereços virtuais.

Essas áreas recebem chaves de acesso especiais, limitando o que cada nó pode acessar, garantindo segurança e isolamento.

Fluxo direto de dados

O caminho da informação, de forma simplificada, é:

• Memória RAM do servidor de origem
• Adaptador RDMA
• Rede
• Adaptador RDMA do servidor de destino
• Memória RAM do destino

O aplicativo coloca uma descrição da operação na fila de envio. O RNIC, então, lê os dados diretamente da memória registrada via DMA, empacota e envia para o destinatário, onde outro adaptador grava diretamente na RAM designada. Durante todo o processo, o processador não precisa manipular cada bloco de dados individualmente.

As filas - Send Queue para operações pendentes e Completion Queue para notificações de conclusão - permitem que o aplicativo monitore o status das transferências sem sobrecarregar o kernel.

Principais operações do RDMA

• RDMA Write: grava dados diretamente em uma área de memória remota autorizada.
• RDMA Read: lê conteúdo da memória registrada de outro servidor sem intervenção ativa do processador remoto.
• Send/Receive: mais parecido com a troca tradicional de mensagens, útil para comandos ou pequenas mensagens.

As operações Read e Write são unilaterais, enquanto Send/Receive exigem maior interação entre os dois lados.

RDMA versus transferência tradicional com TCP

No modelo TCP clássico, os dados percorrem um caminho extenso:

1. Aplicação
2. Kernel do sistema operacional
3. TCP/IP
4. Driver
5. Adaptador de rede
6. Rede

No RDMA, o fluxo é mais direto:

1. Memória registrada
2. Adaptador RDMA
3. Rede
4. Adaptador RDMA
5. Memória registrada

Isso elimina múltiplas cópias de dados e reduz os context switches, fatores que penalizam a performance em cargas de trabalho intensas e de alta frequência.

No entanto, RDMA não substitui totalmente redes TCP/IP. O TCP é mais universal e fácil de implementar. RDMA exige hardware compatível, software especializado e infraestrutura de rede bem ajustada - fatores críticos quando latência e uso da CPU afetam diretamente a performance.

InfiniBand, RoCE e outras variantes de RDMA

RDMA é uma tecnologia de acesso direto à memória remota, podendo operar sobre diferentes infraestruturas de rede:

InfiniBand

Desenvolvido para computação de alta performance, o InfiniBand oferece latência ultrabaixa e alta largura de banda, sendo amplamente utilizado em supercomputadores e clusters HPC. Adota uma arquitetura de rede dedicada, com adaptadores (HCA), switches e protocolos próprios, garantindo máxima eficiência, mas exige infraestrutura e equipamentos específicos.

RDMA over Converged Ethernet (RoCE)

RoCE possibilita os benefícios do RDMA em redes Ethernet comuns, permitindo a integração com a infraestrutura tradicional dos data centers:

• RoCE v1: opera na camada Ethernet, restrita à mesma rede física.
• RoCE v2: utiliza IP e UDP, facilitando a roteabilidade entre redes L3; usa a porta UDP 4791.

Configurar RoCE requer atenção especial a congestionamento, priorização e controle de fluxo. Mecanismos como QoS, ECN e Priority Flow Control são comuns para garantir desempenho estável, já que RDMA é sensível a perdas e sobrecarga de rede.

iWARP

iWARP é uma alternativa que utiliza TCP/IP, podendo operar em redes Ethernet roteadas sem os mesmos requisitos rigorosos de perda zero. Ainda assim, InfiniBand e RoCE são os padrões predominantes em clusters de alta performance.

Onde o RDMA é utilizado e seus benefícios para data centers modernos

O RDMA não faz sentido para qualquer rede. Em servidores web convencionais, a complexidade adicional dificilmente compensa. Seu valor aparece onde há:

• Transferência massiva de dados contínua entre servidores
• Latência crítica para a performance global
• Custo elevado do tempo de CPU

Casos clássicos incluem:

• Computação de alta performance (HPC): clusters científicos e de engenharia exigem sincronização constante entre centenas de nós.
• Sistemas de armazenamento distribuído: acesso remoto a discos NVMe via NVMe over Fabrics com RDMA, aproximando a performance do armazenamento remoto ao local.
• Bancos de dados de alto desempenho e sistemas de processamento de grandes volumes de dados.
• Clusters de IA e aprendizado de máquina: treinamento de grandes modelos com milhares de GPUs, onde cada GPU precisa sincronizar resultados rapidamente. Quando a rede não acompanha, ociosidade e gargalos surgem.

Para saber mais sobre a importância da rede na infraestrutura de IA, confira o artigo AI Fabric: como as redes moldam o futuro do treinamento de IA em larga escala.

Existem tecnologias específicas para GPUs, como o GPUDirect RDMA, que permite ao adaptador trocar dados diretamente com a memória da GPU, eliminando cópias intermediárias via RAM do sistema - fundamental em tarefas distribuídas massivas.

Outro fator é a arquitetura de memória dos servidores. Em sistemas multiprocessados, o acesso à RAM pode variar em latência dependendo do posicionamento físico dos adaptadores, CPUs e módulos de memória. Um projeto inadequado pode limitar até mesmo os ganhos de uma rede RDMA ultrarrápida. Leia mais em Arquitetura NUMA em servidores: impacto e otimização de desempenho.

No fim, o RDMA faz mais sentido quando três condições se encontram: grandes volumes de dados, latência crítica e CPU ocupada com tarefas valiosas demais para desperdiçar em operações de rede convencionais. Para supercomputadores, sistemas distribuídos e clusters de GPUs, o RDMA pode ser o diferencial de performance.

Conclusão

RDMA resolve um dos maiores gargalos dos servidores modernos: elimina a necessidade de intervenção do processador em cada etapa da transferência de dados pela rede. Após a configuração inicial e o registro de memória, o adaptador RDMA assume o papel principal, utilizando DMA para mover informações diretamente entre as memórias dos nós.

Seus principais benefícios são:

• Baixa latência
• Zero-copy
• Kernel bypass
• Redução do uso da CPU

O impacto é mais evidente em ambientes onde servidores trocam grandes volumes de dados constantemente, como clusters HPC, sistemas distribuídos de armazenamento, bancos de dados de alto desempenho e infraestruturas de IA.

No entanto, RDMA não substitui as redes TCP/IP convencionais. Sua adoção requer hardware e software compatíveis e uma rede cuidadosamente ajustada. A tecnologia é especialmente indicada quando o gargalo da performance está na comunicação entre servidores, permitindo ganhos maiores do que simples upgrades de processadores ou interfaces de rede.