MoE (Mixture of Experts): Como Redes Neurais Usam Apenas o Essencial

MoE modelo, ou Mixture of Experts, é uma arquitetura de rede neural na qual não se utiliza todo o modelo para processar dados, mas apenas parte de seus blocos. Esses blocos são chamados de especialistas. Para cada token, o sistema determina quais especialistas são mais adequados e ativa somente eles.

Ideia principal do MoE

A principal ideia por trás do MoE é aumentar o número de parâmetros da rede neural sem elevar na mesma proporção a carga computacional. O modelo pode ter dezenas ou centenas de bilhões de parâmetros, mas ao gerar um token, apenas uma pequena parte deles é ativada. Por isso, o tamanho da rede e o custo computacional deixam de crescer juntos de forma linear.

Importante: Mixture of Experts não significa que há redes neurais independentes para programação, matemática, tradução ou outras tarefas. Os especialistas são blocos treináveis da arquitetura geral, e um mecanismo especial de roteamento distribui os dados entre eles.

O que é o modelo MoE e como ele difere de uma rede neural tradicional

Em uma rede neural densa (dense), cada entrada passa sequencialmente pelos mesmos principais layers. Se o modelo possui certo número de parâmetros, grande parte dos cálculos é executada para cada token processado.

Já a arquitetura Mixture of Experts funciona de modo diferente. Em alguns layers, há vários blocos alternativos - os especialistas - em vez de um grande bloco de processamento. Antes de processar o token, a rede escolhe para qual especialista enviá-lo. Os demais não participam do cálculo naquele instante.

Esse método é chamado de ativação esparsa (sparse activation). O modelo em si não é esparso: todos os parâmetros existem e ficam armazenados na memória. A diferença é que, a cada vez, apenas uma parte deles é usada.

Por exemplo, imagine um layer com oito especialistas. Em vez de passar cada token por todos os oito blocos, o sistema pode escolher somente um ou dois. O próximo token pode ser enviado a outros especialistas. Assim, o modelo tem grande capacidade computacional, mas não precisa ativá-la inteira a cada passo.

O termo "especialista" não deve ser interpretado literalmente. Durante o treinamento, certos blocos podem se especializar em tipos específicos de representações, mas os desenvolvedores não definem manualmente papéis como "especialista em código" ou "especialista em inglês". A especialização surge durante o aprendizado e pode ser muito mais complexa.

É a combinação de um grande número total de parâmetros com poucos parâmetros ativados por vez que torna as redes MoE atraentes para escalabilidade. Para isso, é necessário um mecanismo separado que decida quais especialistas devem processar cada token.

Como é a arquitetura Mixture of Experts

Na maioria dos modelos MoE modernos, os especialistas não substituem toda a rede. A arquitetura geralmente mantém os blocos Transformer tradicionais, e o mecanismo Mixture of Experts é integrado apenas em partes específicas.

Frequentemente, o MoE substitui o bloco feed-forward padrão. Em um Transformer, cada token, após o mecanismo de Attention, passa pela mesma rede totalmente conectada. No MoE, há vários blocos especialistas alternativos, dos quais apenas parte é selecionada para cada token.

Blocos especialistas

Um especialista pode ser visto como uma pequena rede neural dentro do layer. Normalmente, todos têm estrutura semelhante, mas parâmetros próprios. Durante o treinamento, recebem dados diferentes e gradualmente passam a transformar as entradas de formas distintas.

Se houver oito especialistas em um layer MoE, isso não significa que cada token passa por todos eles. O modelo pode ativar, por exemplo, apenas dois. Os outros seis não participam do cálculo desse token.

No layer seguinte, a escolha pode mudar: o mesmo token pode passar por um especialista no primeiro bloco MoE e por outros diferentes adiante. Assim, a rota dentro do modelo é dinâmica.

Router e mecanismo de roteamento

Para selecionar os especialistas certos, é usado o router - pequeno mecanismo treinável de roteamento. Ele recebe a representação interna do token e calcula pontuações para cada especialista disponível.

Quanto maior a pontuação, mais preferencial é o especialista para aquele token. Com base nisso, são selecionados um ou mais blocos com os maiores valores, e o token é encaminhado apenas a eles.

O router não trabalha com regras pré-definidas. O desenvolvedor não programa condições como "se encontrar código, envie ao especialista nº3". O roteamento também é treinado junto com a rede e aprende, aos poucos, formas úteis de distribuição dos dados.

Os resultados dos especialistas escolhidos são então combinados e enviados para as próximas etapas do modelo. Se vários blocos forem ativados, suas saídas podem ser ponderadas de acordo com as pontuações do router.

Quais partes da rede permanecem comuns

O nome Mixture of Experts pode sugerir que cada requisição passa por um pequeno modelo separado, mas na prática, a maior parte da arquitetura é compartilhada.

Componentes como Attention, normalização de layers e manipulação de tokens continuam sendo utilizados independentemente dos especialistas escolhidos. Somente determinados blocos computacionais são ativados dinamicamente.

Assim, a arquitetura é híbrida: alguns parâmetros atuam em praticamente todos os tokens, outros apenas quando o router direciona dados a eles. Isso permite ao modelo MoE manter a estrutura geral do Transformer, mas com muito mais parâmetros - sem precisar usá-los todos ao mesmo tempo.

Como a rede neural escolhe os especialistas certos

A escolha dos especialistas é feita separadamente para cada token. Ou seja, até mesmo palavras dentro de uma mesma frase podem passar por blocos computacionais diferentes. A rede não escolhe um especialista só para toda a requisição - o percurso muda dinamicamente durante o processamento da sequência.

Primeiro, o token é convertido em uma representação numérica interna e enviado ao router, que avalia a adequação de cada especialista. O resultado é um conjunto de pontuações e a seleção dos especialistas mais indicados.

De forma resumida: o token entra no layer MoE, o router avalia todos os especialistas, escolhe os mais adequados, encaminha o token a eles, os resultados são combinados e enviados para a próxima etapa da rede.

O que é Top-K routing

O número de especialistas que recebem um token geralmente é limitado. Usa-se o princípio Top-K routing, onde K indica quantos especialistas são ativados.

No Top-1 routing, apenas o especialista com maior pontuação é escolhido, exigindo menos cálculos, já que cada token passa por um único bloco.

No Top-2 routing, dois especialistas são selecionados e seus resultados são combinados conforme os pesos definidos pelo router. Isso aumenta a quantidade de cálculos, mas permite dois tipos diferentes de transformação por token.

Arquiteturas com K maior também existem, mas quanto mais especialistas ativos, menor a vantagem de economia computacional do MoE. Por isso, é preciso balancear a qualidade do modelo com o número de blocos ativados por token.

Por que tokens diferentes escolhem especialistas diferentes

O router toma decisões com base na representação interna do token, não apenas no seu valor literal. O mesmo token, em contextos distintos, pode ter representações diferentes e ser encaminhado a especialistas diversos.

Por exemplo, uma palavra usada em conversa comum e a mesma palavra em código de programação podem ser processadas de formas distintas. Mas isso não significa que existe um "especialista em programação" explícito. O roteamento se baseia em características que a própria rede identificou durante o treinamento.

A escolha é feita em cada layer MoE: um token pode ir para um especialista no início da rede e para outro completamente diferente depois. O caminho dos dados pela MoE é uma sequência de decisões dinâmicas.

Como o modelo aprende a distribuir tokens corretamente

O router é treinado simultaneamente com os especialistas. Se determinado roteamento ajuda o modelo a reduzir o erro, os parâmetros são ajustados para enviar representações similares por rotas úteis com mais frequência.

Um problema comum: sem restrições, o router pode passar a escolher sempre os mesmos especialistas, sobrecarregando alguns blocos e deixando outros sem dados, prejudicando o treino deles.

Por isso, mecanismos de balanceamento de carga são usados no treinamento MoE. Eles incentivam o router a distribuir tokens de maneira mais uniforme, evitando que a rede vire um sistema com poucos blocos sempre ativos.

Também pode haver limitações sobre quantos tokens cada especialista pode processar ao mesmo tempo, especialmente ao treinar modelos grandes em múltiplas GPUs, para evitar gargalos mesmo com poder computacional suficiente.

Por que o MoE economiza cálculos, mesmo aumentando o tamanho do modelo

A maior vantagem do Mixture of Experts é que o total de parâmetros do modelo e a quantidade de parâmetros usados para processar um token podem ser muito diferentes. Assim, o modelo MoE pode ser enorme sem exigir custo computacional proporcional.

Em modelos densos, praticamente todos os parâmetros do layer participam do processamento de cada token. Se duplicar o tamanho do layer, os cálculos aumentam proporcionalmente. No MoE, parte dos parâmetros é dividida entre especialistas, dos quais apenas alguns são ativados por vez.

Por exemplo: imagine um layer MoE com oito especialistas do mesmo tamanho e roteamento Top-2. O layer tem os parâmetros de todos os oito, mas cada token passa só por dois. Os outros seis não fazem cálculos para aquele token.

Por isso, o número total de parâmetros pode crescer muito mais rápido do que o custo de processar um token. O modelo ganha capacidade extra para armazenar padrões, sem exigir que o hardware utilize tudo de uma vez.

É fundamental diferenciar o tamanho do modelo do número de parâmetros ativos. Um número na casa dos bilhões de parâmetros não mostra, por si só, o quanto de computação é exigido ao gerar uma resposta. Saiba mais em Parâmetros de redes neurais: o que são e como influenciam o desempenho.

Parâmetros gerais e ativos

Parâmetros gerais são todos os parâmetros treináveis do modelo, que precisam estar armazenados e acessíveis durante a operação.

Parâmetros ativos são a parte do modelo realmente usada para processar determinado token. No MoE, podem ser muito menos que o total, já que o router seleciona só alguns especialistas.

Por exemplo, um modelo hipotético pode ter 100 bilhões de parâmetros, mas usar apenas 20 bilhões por token. Os outros 80 bilhões não são inúteis: podem ser ativados para outros tokens e em outros layers. O modelo nunca é usado inteiro de uma só vez.

Esse método permite aumentar a capacidade da rede neural sem elevar na mesma proporção o número de operações por token - fundamental para escalar grandes modelos de linguagem.

Por que economia de cálculos não significa economia de memória

A ativação esparsa tem uma limitação importante: especialistas inativos não fazem cálculos, mas seus parâmetros ainda precisam ser armazenados.

Se o modelo tem centenas de bilhões de parâmetros, o hardware deve ter acesso a todos, mesmo que só uma parte seja usada a cada instante. Por isso, as exigências de memória de modelos MoE grandes permanecem muito altas.

Com frequência, não é possível acomodar todo o modelo em um único acelerador. Os especialistas são distribuídos entre várias GPUs ou dispositivos. Quando o router escolhe um especialista, os dados podem ter que ser transferidos de um acelerador para outro.

Assim, parte da carga passa dos cálculos matemáticos para a memória e para a rede entre os aceleradores. O MoE não torna automaticamente uma grande rede neural barata ou fácil de operar.

Onde surge carga adicional

O próprio roteamento exige cálculos: o router avalia os especialistas, escolhe as melhores opções e distribui tokens corretamente.

O desafio aumenta ao processar muitos pedidos simultaneamente. Um especialista pode receber muito mais tokens que outros, sobrecarregando algumas GPUs enquanto outras ficam subutilizadas.

Para resolver isso, são aplicadas técnicas de balanceamento de carga, limites de capacidade dos especialistas e esquemas especiais de computação distribuída. Por isso, a eficiência real do MoE depende não só da quantidade de parâmetros ativos, mas também da qualidade do roteamento, memória e comunicação entre aceleradores.

Resumindo, a economia do MoE está principalmente na redução do número de cálculos por token. O preço disso é uma arquitetura mais complexa, maior exigência de memória e necessidade de gerenciar bem sistemas distribuídos.

MoE versus modelo denso tradicional: vantagens e desvantagens

A diferença entre MoE e modelos densos não está apenas no número de parâmetros. Essas arquiteturas usam recursos computacionais, memória e escalabilidade de formas distintas.

Em modelos densos, cada token passa pelos mesmos blocos computacionais. No MoE, parte desses blocos é substituída por especialistas, e o router escolhe apenas alguns. Assim, o MoE pode ter muito mais parâmetros gerais, mantendo operações por token comparáveis.

Vantagens do Mixture of Experts

• Permite aumentar a capacidade do modelo sem aumentar proporcionalmente os cálculos por token.
• Ideal para escalar grandes modelos de linguagem, distribuindo cálculos entre blocos especializados em vez de rodar uma rede densa enorme.
• Uso mais eficiente do orçamento computacional: para o mesmo volume de operações por token, um modelo esparso pode ter mais parâmetros que um denso, armazenando padrões e representações mais complexos.
• Possibilidade de dividir cálculos entre especialistas em diferentes aceleradores, permitindo paralelismo.

Desvantagens do MoE

• A economia de cálculos não simplifica a arquitetura: o router precisa distribuir tokens constantemente e o sistema entregar dados rapidamente aos blocos certos.
• O desafio é maior em sistemas distribuídos: especialistas em GPUs diferentes podem exigir transferência de dados entre aceleradores, e ganhos com menos cálculos podem ser anulados por atrasos na comunicação.
• Risco de carga desigual: o router pode sobrecarregar alguns especialistas e deixar outros ociosos, exigindo mecanismos de balanceamento.
• Altas exigências de memória: todos os especialistas precisam estar disponíveis, mesmo se nem todos forem usados a cada momento.
• O treinamento é mais complexo, exigindo ajuste simultâneo dos especialistas, do router e da distribuição dos tokens.

Por que MoE nem sempre é melhor que modelo denso

Apesar das vantagens da ativação esparsa, o MoE não substitui completamente as redes tradicionais. A escolha da arquitetura depende da tarefa e da infraestrutura disponível.

Modelos densos são mais fáceis de executar, distribuir e otimizar. A carga computacional é mais previsível, e a ausência de roteamento dinâmico reduz as exigências de comunicação.

Em modelos menores, a complexidade extra do MoE pode não valer a pena. Quanto maior a rede, maior o benefício de aumentar o número de parâmetros sem crescer proporcionalmente o número de cálculos.

MoE é especialmente interessante para modelos muito grandes, onde o custo de camadas densas adicionais é alto. A arquitetura esparsa permite continuar escalando, mas exige gestão mais cuidadosa de memória, rede e balanceamento.

O Mixture of Experts deve ser visto não como um método para "baratear" redes neurais, mas como uma abordagem alternativa para uso de parâmetros: em vez de ativar tudo para cada token, tenta-se acionar apenas os blocos que são mais úteis naquele momento.

Conclusão

O modelo MoE mostra que o tamanho da rede neural e o volume de cálculos não precisam crescer juntos. A arquitetura Mixture of Experts permite armazenar muitos parâmetros, ativando apenas alguns blocos de especialistas a cada token.

A escolha desses blocos é feita pelo router, que avalia a representação interna do token e o encaminha aos especialistas mais adequados. Por meio da ativação esparsa, a rede ganha grande capacidade sem precisar usar todos os parâmetros ao mesmo tempo.

No entanto, o MoE não elimina completamente os desafios de recursos. Os parâmetros dos especialistas ainda precisam ser armazenados, e a distribuição de tokens entre GPUs exige gerenciamento de carga e balanceamento. Assim, a eficiência depende não só do número de parâmetros, mas também da qualidade do roteamento e da infraestrutura.

Ao comparar MoE e modelos densos, mais importante do que olhar para o tamanho declarado da rede é considerar quantos parâmetros estão ativos por token, a carga computacional, a exigência de memória e as particularidades do processamento distribuído. São esses fatores que realmente indicam o grau de complexidade e custo operacional de um modelo grande.