O que é Mixture of Experts (MoE)? A arquitetura por trás dos LLMs modernos — guia prático

O que é Mixture of Experts (MoE), a arquitetura por trás dos LLMs modernos? O conceito fica mais fácil de aplicar quando está ligado a uma decisão real, em vez de ser tratado como mais um termo da moda. Este guia do AI Tools Radar apresenta a ideia central, os compromissos relevantes e as perguntas que vale fazer antes de adotar uma ferramenta ou um fluxo de trabalho.

Mixture of Experts é uma arquitetura de rede neural que distribui o processamento entre várias sub-redes especializadas, chamadas especialistas. Uma rede leve de roteamento escolhe quais especialistas processam cada token de entrada. Apenas um pequeno subconjunto é ativado por vez. Esse encaminhamento seletivo diferencia o MoE dos modelos densos tradicionais, que usam todos os parâmetros para cada token.

O design ganhou espaço porque permite alcançar centenas de bilhões de parâmetros totais com custo de inferência semelhante ao de modelos muito menores. Mixtral 8x7B e várias versões do GPT-4 adotam o padrão. Compreender sua mecânica ajuda a avaliar alegações sobre escala e eficiência.

Principais conclusões. • O MoE substitui uma única grande rede feed-forward por vários especialistas menores e um roteador que escolhe o subconjunto adequado. • A ativação esparsa faz com que apenas um número fixo de especialistas processe cada token, mantendo o cálculo aproximadamente constante mesmo quando o total de parâmetros cresce. • Modelos como Mixtral 8x7B mostram que versões MoE podem igualar ou superar referências densas usando quantidade semelhante de parâmetros ativos na inferência. • O treinamento é mais complexo porque o equilíbrio de carga entre especialistas e a estabilidade do roteador exigem técnicas adicionais. • A arquitetura aparece em modelos abertos e proprietários, mostrando que saiu da pesquisa e chegou à produção.

Um modelo MoE contém um conjunto de sub-redes especialistas e uma função de roteamento. A função recebe a mesma entrada e produz uma distribuição de probabilidades sobre o conjunto. Somente os k especialistas com maior pontuação recebem o token e contribuem para a saída. Todos os demais permanecem inativos naquele momento.

As propriedades centrais são modularidade, esparsidade e computação condicional. A modularidade permite que especialistas se concentrem em padrões ou tarefas diferentes. A esparsidade mantém baixa a fração de parâmetros ativos por token. A computação condicional faz o conjunto ativo mudar a cada token.

Essas propriedades separam modelos MoE de transformadores densos. Num modelo denso, todos os pesos participam de cada passagem. Num MoE, a maioria permanece ociosa para um determinado token. O resultado é maior capacidade total com processamento por token quase constante.

A arquitetura se divide em três camadas: roteador, conjunto de especialistas e combinação das saídas.

O roteador é uma pequena camada linear ou MLP rasa que transforma o estado oculto de entrada num vetor de pontuações. Uma softmax converte as pontuações em probabilidades, e o sistema seleciona os k melhores especialistas. Valores comuns de k são 1 ou 2, mesmo com oito ou mais especialistas.

Cada especialista normalmente é uma rede feed-forward com a mesma estrutura da FFN posicional de um bloco transformador convencional. Como são menores que uma única FFN grande, o modelo pode manter muitos sem exceder os limites de memória no treinamento. A especialização emerge quando diferentes especialistas recebem gradientes de diferentes distribuições de dados.

As saídas dos especialistas escolhidos são multiplicadas pelas probabilidades do roteador e somadas. Isso produz a contribuição final da camada MoE. O restante do bloco transformador, incluindo a atenção, não muda.

A ativação esparsa mantém baixa a quantidade de parâmetros ativos. Um modelo com oito especialistas do tamanho de uma FFN de sete bilhões de parâmetros ainda usa aproximadamente o processamento de um modelo 7B quando k é igual a 1. Os demais especialistas ficam na memória, mas não participam das multiplicações matriciais daquele token.

O Mixtral 8x7B possui oito especialistas por camada e ativa dois por token. Assim, a quantidade ativa durante a inferência se aproxima de um modelo denso de 12 a 13 bilhões, embora o total supere 46 bilhões. Em avaliações comuns, ele supera o Llama 2 70B em várias categorias usando menos largura de banda de memória durante a geração.

Relatos amplamente difundidos indicam que o GPT-4 usa um design MoE com mais especialistas e maior número total de parâmetros. Os detalhes públicos são limitados, mas a combinação de grande capacidade total e custo controlado segue o mesmo princípio. Outros sistemas de produção, como Switch Transformer e GLaM do Google, usam estrutura idêntica em escala ainda maior.

O padrão compartilhado é um roteador que aprende a enviar diferentes tipos de token a especialistas distintos. Tokens de código podem seguir para um grupo, enquanto os de linguagem natural vão para outro. Essa especialização implícita melhora a eficiência amostral durante o treinamento.

Em modelos de conversa com pesos abertos, o design permite contextos maiores com custo administrável. Usuários executam o Mixtral 8x7B localmente ou em GPUs modestas na nuvem porque o uso ativo se aproxima do de um modelo denso 13B. Empresas obtêm maior qualidade em assistentes internos sem aumento proporcional do hardware.

Grupos que estudam leis de escala usam MoE para verificar se o desempenho continua crescendo depois que o treinamento denso se torna impraticável. Trabalhos sobre o Switch Transformer mostraram que um MoE com mais de um trilhão de parâmetros pode treinar de modo estável com perdas auxiliares de balanceamento de carga.

Perguntas frequentes sobre Mixture of Experts em IA.

P: Como o MoE reduz o custo de inferência em relação a um modelo denso do mesmo tamanho total?

R: Somente os especialistas escolhidos executam multiplicações matriciais. O custo do roteador é pequeno, e a largura de banda depende dos pesos ativos, não do total. Assim, a velocidade acompanha o tamanho dos especialistas em uso.

P: O MoE exige hardware especial?

R: GPUs comuns são suficientes. A inferência eficiente se beneficia de kernels que ignoram especialistas sem contribuição, mas a arquitetura funciona nos ambientes existentes de transformadores depois que os pesos são carregados.

P: Como o treinamento difere de um transformador denso?

R: O roteador precisa ser treinado junto aos especialistas. Perdas auxiliares equilibram a utilização. Sem elas, alguns especialistas recebem pouquíssimos tokens e não aprendem representações úteis.

P: Um MoE pode receber ajuste fino como um modelo denso?

R: Sim. Os mesmos fluxos de ajuste supervisionado e otimização de preferências se aplicam. Apenas o roteador e os especialistas ativos recebem gradientes em cada exemplo, o que pode reduzir o uso de memória na retropropagação.

P: O que acontece se o roteador enviar todos os tokens ao mesmo especialista?

R: Esse especialista recebe gradientes desproporcionais enquanto os demais ficam subtreinados. Perdas de balanceamento e ruído no roteador são adicionados ao pré-treinamento para evitar o colapso em um único especialista.

O teste prático é verificar se essa abordagem melhora uma parte repetível do trabalho sem ocultar fontes, custos ou modos de falha. Comece com uma tarefa representativa, mantenha uma revisão humana onde os erros importam e reavalie o resultado à medida que modelos e produtos evoluem.

Explorar diretório de ferramentas →