Qu’est-ce qu’un mélange d’experts (MoE) ? L’architecture derrière les LLM modernes devient plus facile à mettre en pratique lorsque le concept est relié à une décision concrète, plutôt que traité comme un nouveau mot à la mode de l’IA. Ce guide d’AI Tools Radar se concentre sur l’idée opérationnelle, les compromis qui comptent et les questions à se poser avant d’adopter un outil ou un processus.
Le mélange d’experts MoE en IA est une architecture de réseau neuronal qui répartit le calcul entre plusieurs sous-réseaux spécialisés appelés experts. Un léger réseau de routage sélectionne les experts qui traitent chaque jeton d’entrée. Seul un petit sous-ensemble s’active à tout moment. Ce routage sélectif distingue le MoE des modèles denses traditionnels qui utilisent chaque paramètre pour chaque jeton.
Cette conception a gagné en popularité car elle permet au nombre total de paramètres d’atteindre des centaines de milliards, tout en maintenant un coût d’inférence comparable à celui de modèles beaucoup plus petits. Mixtral 8x7B et plusieurs versions de GPT-4 emploient ce schéma. Comprendre ses mécanismes aide à évaluer les affirmations sur l’échelle et l’efficacité des modèles.
Points clés à retenir. • Le mélange d’experts MoE en IA remplace un seul grand réseau feed-forward par de nombreux réseaux experts plus petits et un routeur qui sélectionne le sous-ensemble approprié. • L’activation clairsemée signifie qu’un nombre fixe d’experts seulement traite chaque jeton ; le calcul par jeton reste donc approximativement constant même lorsque les paramètres totaux augmentent. • Des modèles comme Mixtral 8x7B montrent que les versions MoE peuvent égaler ou dépasser les références denses sur les benchmarks, avec des paramètres actifs similaires pendant l’inférence. • L’entraînement demeure plus complexe que l’entraînement dense, car l’équilibrage de charge entre experts et la stabilité du routeur exigent des techniques supplémentaires. • La même architecture apparaît dans des modèles ouverts comme dans des systèmes propriétaires, ce qui montre son passage de la recherche aux grands modèles de langage de production.
Un modèle de mélange d’experts contient un ensemble de sous-réseaux experts et une fonction de routage. La fonction de routage reçoit la même entrée que les experts et produit une distribution de probabilités sur le pool d’experts. Seuls les k meilleurs experts ayant les scores les plus élevés reçoivent l’entrée et contribuent à la sortie. Tous les autres restent inactifs pour ce jeton.
Ses propriétés centrales comprennent la modularité, la parcimonie et le calcul conditionnel. La modularité existe parce que chaque expert peut se spécialiser dans différents schémas de données ou types de tâche. La parcimonie existe parce que la fraction de paramètres actifs par jeton reste faible. Le calcul conditionnel existe parce que l’ensemble actif change avec chaque jeton.
Ces propriétés distinguent les modèles MoE des transformeurs denses. Dans un modèle dense, chaque poids participe à chaque passe avant. Dans un modèle MoE, la majorité des poids reste inactive pour un jeton donné. Le résultat est une capacité totale plus élevée pour un calcul par jeton approximativement constant.
L’architecture se décompose en trois couches : le routeur, le pool d’experts et l’étape de combinaison des sorties.
Le routeur est une petite couche linéaire ou un MLP peu profond qui transforme l’état caché d’entrée en vecteur de scores d’experts. Un softmax convertit les scores en probabilités. Le système sélectionne ensuite les k meilleurs experts selon ces probabilités. Les valeurs typiques de k sont 1 ou 2, même lorsque le nombre total d’experts atteint huit ou davantage.
Chaque expert est généralement un réseau feed-forward identique, dans sa structure, au FFN positionnel d’un bloc de transformeur standard. Comme les experts sont plus petits qu’un seul grand FFN, le modèle peut en conserver beaucoup sans dépasser les budgets mémoire durant l’entraînement. La spécialisation émerge pendant l’entraînement, car différents experts reçoivent des gradients issus de différentes distributions de données.
Les sorties des experts sélectionnés sont multipliées par leurs probabilités de routage puis additionnées. Cela produit la contribution finale de la couche MoE. Le reste du bloc de transformeur, y compris l’attention, demeure inchangé.
L’activation clairsemée maintient un faible nombre de paramètres actifs. Un modèle comportant 8 experts, chacun de taille comparable à un FFN de 7 milliards de paramètres, n’active approximativement que le calcul d’un modèle 7B lorsque k vaut 1. Les experts restants restent en mémoire mais ne participent pas aux multiplications matricielles pour ce jeton.
Mixtral 8x7B contient huit experts par couche et en active deux par jeton. Le nombre de paramètres actifs durant l’inférence est donc comparable à celui d’un modèle dense de 12 à 13B, alors que les paramètres totaux dépassent 46B. Sur les benchmarks standard, le modèle dépasse Llama 2 70B dans plusieurs catégories tout en utilisant moins de bande passante mémoire lors de la génération.
GPT-4 est largement présenté comme utilisant une conception MoE avec un plus grand nombre d’experts et davantage de paramètres totaux. Les détails publics restent limités, mais le schéma d’une capacité totale élevée associée à un coût d’inférence maîtrisé suit le même principe. D’autres systèmes de production, comme Switch Transformer et GLaM de Google, suivent la même structure à une échelle encore plus grande.
Le point commun entre ces modèles est que le routeur apprend à envoyer différents types de jetons vers différents experts. Les jetons de code peuvent être routés vers un ensemble d’experts, tandis que les jetons de langage naturel sont routés ailleurs. Cette spécialisation implicite améliore l’efficacité d’échantillonnage pendant l’entraînement.
Dans les modèles de conversation à poids ouverts, cette conception prend en charge des contextes plus longs à coût gérable. Les utilisateurs peuvent exécuter Mixtral 8x7B localement ou sur des GPU cloud modestes, car l’usage de mémoire active reste proche de celui d’un modèle dense de 13B. Les entreprises qui déploient des assistants internes obtiennent une meilleure qualité de sortie sans augmentation proportionnelle du matériel de service.
Les groupes de recherche qui étudient les lois d’échelle utilisent le MoE pour tester si les performances continuent de s’améliorer lorsque les paramètres totaux dépassent le point où l’entraînement dense devient impraticable. Les articles sur Switch Transformer ont montré qu’un modèle MoE de plus d’un trillion de paramètres pouvait s’entraîner de manière stable avec des pertes auxiliaires d’équilibrage de charge.
Questions fréquentes sur le mélange d’experts MoE en IA.
Q : Comment le mélange d’experts MoE en IA réduit-il le coût d’inférence par rapport à un modèle dense de même taille totale ?
R : Seuls les experts sélectionnés effectuent les multiplications matricielles. Le coût du routeur est faible, et la bande passante mémoire est déterminée par les poids actifs plutôt que par le total des poids. La vitesse de génération suit donc la taille des experts actifs.
Q : Le mélange d’experts MoE en IA exige-t-il du matériel particulier ?
R : Des GPU standard suffisent. Une inférence efficace bénéficie tout de même de noyaux qui ignorent les experts à contribution nulle, mais l’architecture elle-même s’exécute sur les environnements de transformeurs existants une fois les poids chargés.
Q : En quoi l’entraînement diffère-t-il d’un transformeur dense ?
R : Le routeur doit être entraîné avec les experts. Des pertes auxiliaires maintiennent l’utilisation des experts à l’équilibre. Sans ces termes, certains experts reçoivent presque aucun jeton et n’apprennent jamais de représentations utiles.
Q : Le mélange d’experts MoE en IA peut-il être ajusté finement comme un modèle dense ?
R : Oui. Les mêmes pipelines d’ajustement fin supervisé et d’optimisation des préférences s’appliquent. Seuls le routeur et les experts actifs reçoivent des gradients sur chaque exemple, ce qui peut même réduire l’usage mémoire pendant la passe arrière.
Q : Que se passe-t-il si le routeur envoie chaque jeton vers le même expert ?
R : Cet expert reçoit des gradients disproportionnés tandis que les autres restent sous-entraînés. Des pertes d’équilibrage de charge et un bruit de routage sont ajoutés durant le pré-entraînement pour décourager l’effondrement vers un expert unique.
Le test pratique consiste à déterminer si cette approche améliore une tâche répétable sans masquer ses sources, ses coûts ou ses modes de défaillance. Commencez par une tâche représentative, conservez un point de contrôle humain lorsque les erreurs sont importantes et réévaluez le résultat à mesure que les modèles et les produits évoluent.
Nous croisons sources primaires, documentation produit et cas d’usage réels pour vous aider à déterminer si un outil convient à votre manière de travailler.