Was ist Mixture of Experts (MoE)? Die Architektur hinter modernen LLMs

Was Mixture of Experts ist und welche Architektur hinter modernen LLMs steht, wird dann nützlich, wenn das Konzept mit einer echten Entscheidung verbunden ist und nicht als weiteres KI-Schlagwort behandelt wird. Dieser Leitfaden von AI Tools Radar konzentriert sich auf die praktische Idee, relevante Abwägungen und die Fragen, die vor dem Einsatz eines Tools oder Workflows gestellt werden sollten.

Mixture of Experts, kurz MoE, ist eine Architektur für neuronale Netze, die Berechnungen auf mehrere spezialisierte Teilnetze, sogenannte Experten, verteilt. Ein leichtgewichtiges Gating-Netzwerk wählt aus, welche Experten jedes Eingabetoken verarbeiten. Zu jedem Zeitpunkt wird nur eine kleine Teilmenge aktiviert. Dieses selektive Routing unterscheidet MoE von klassischen dichten Modellen, die für jedes Token alle Parameter nutzen.

Das Design gewann an Bedeutung, weil es die Gesamtzahl der Parameter auf Hunderte Milliarden erhöhen kann, während die Inferenzkosten mit wesentlich kleineren Modellen vergleichbar bleiben. Mixtral 8x7B und mehrere GPT-4-Versionen nutzen dieses Muster. Wer die Mechanik versteht, kann Aussagen über Modellgröße und Effizienz besser bewerten.

Wichtige Erkenntnisse. • Mixture of Experts ersetzt ein einzelnes großes Feed-Forward-Netzwerk durch viele kleinere Expertennetzwerke plus Router, der die passende Teilmenge auswählt. • Durch sparsame Aktivierung verarbeitet nur eine feste Zahl von Experten jedes Token; der Rechenaufwand pro Token bleibt deshalb ungefähr konstant, obwohl die Gesamtzahl der Parameter wächst. • Modelle wie Mixtral 8x7B zeigen, dass MoE-Varianten dichte Baselines in Benchmarks erreichen oder übertreffen können, während bei der Inferenz eine ähnliche Zahl aktiver Parameter genutzt wird. • Das Training bleibt komplexer als bei dichten Modellen, weil Lastverteilung zwischen Experten und Stabilität des Routers zusätzliche Techniken verlangen. • Dieselbe Architektur erscheint in offenen und proprietären Modellen und ist damit von der Forschung in produktive große Sprachmodelle übergegangen.

Ein Mixture-of-Experts-Modell enthält eine Gruppe von Experten-Teilnetzen und eine Gating-Funktion. Die Gating-Funktion erhält dieselbe Eingabe wie die Experten und gibt eine Wahrscheinlichkeitsverteilung über den Expertenpool aus. Nur die Top-k-Experten mit den höchsten Werten erhalten die Eingabe und tragen zur Ausgabe bei. Alle anderen Experten bleiben für dieses Token inaktiv.

Zu den Kerneigenschaften zählen Modularität, Sparsität und bedingte Berechnung. Modularität entsteht, weil sich jeder Experte auf unterschiedliche Datenmuster oder Aufgabentypen spezialisieren kann. Sparsität entsteht, weil der Anteil aktiver Parameter pro Token niedrig bleibt. Bedingte Berechnung entsteht, weil sich die aktive Auswahl mit jedem Token ändert.

Diese Eigenschaften unterscheiden MoE-Modelle von dichten Transformern. In einem dichten Modell nimmt jedes Gewicht an jedem Forward Pass teil. In einem MoE-Modell bleibt die Mehrheit der Gewichte bei einem bestimmten Token ungenutzt. Das Ergebnis ist höhere Gesamtkapazität bei ungefähr konstantem Rechenaufwand pro Token.

Die Architektur zerfällt in drei Ebenen: Router, Expertenpool und Kombination der Ausgaben.

Der Router ist eine kleine lineare Schicht oder ein flaches MLP, das den Eingabe-Hidden-State auf einen Vektor von Expertenwerten abbildet. Softmax wandelt diese Werte in Wahrscheinlichkeiten um. Das System wählt anschließend entsprechend diesen Wahrscheinlichkeiten die Top-k-Experten. Typische Werte sind k = 1 oder 2, selbst wenn es insgesamt acht oder mehr Experten gibt.

Jeder Experte ist gewöhnlich ein Feed-Forward-Netzwerk, das in seiner Struktur dem positionsweisen FFN eines Standard-Transformer-Blocks entspricht. Weil Experten kleiner als ein einzelnes großes FFN sind, kann das Modell viele von ihnen behalten, ohne die Speicherbudgets beim Training zu überschreiten. Während des Trainings entsteht Spezialisierung, weil unterschiedliche Experten Gradienten aus unterschiedlichen Datenverteilungen erhalten.

Die Ausgaben der ausgewählten Experten werden mit ihren Router-Wahrscheinlichkeiten multipliziert und summiert. Daraus entsteht der endgültige Beitrag der MoE-Ebene. Der übrige Transformer-Block, einschließlich Attention, bleibt unverändert.

Die sparsame Aktivierung hält die Zahl aktiver Parameter niedrig. Ein Modell mit acht Experten, deren Größe jeweils einem FFN mit sieben Milliarden Parametern entspricht, aktiviert bei k = 1 ungefähr die Rechenlast eines 7B-Modells. Die übrigen Experten bleiben zwar im Speicher, nehmen aber für dieses Token nicht an Matrixmultiplikationen teil.

Mixtral 8x7B enthält acht Experten pro Ebene und aktiviert zwei pro Token. Die Zahl aktiver Parameter bei der Inferenz ähnelt daher einem dichten Modell mit 12 bis 13 Milliarden Parametern, während die Gesamtzahl mehr als 46 Milliarden beträgt. In Standard-Benchmarks übertrifft das Modell Llama 2 70B in mehreren Kategorien und nutzt bei der Generierung weniger Speicherbandbreite.

Für GPT-4 wird weithin ein MoE-Design mit mehr Experten und höherer Gesamtparameterzahl berichtet. Öffentliche Details bleiben begrenzt, doch das Muster hoher Gesamtkapazität bei kontrollierten Inferenzkosten folgt demselben Prinzip. Andere Produktionssysteme wie Googles Switch Transformer und GLaM verwenden dieselbe Struktur in noch größerem Maßstab.

Das gemeinsame Muster dieser Modelle besteht darin, dass der Router unterschiedliche Tokentypen an unterschiedliche Experten sendet. Code-Tokens können zu einer Expertengruppe geleitet werden, natürliche Sprache zu einer anderen. Diese implizite Spezialisierung verbessert die Stichprobeneffizienz im Training.

In Chatmodellen mit offenen Gewichten unterstützt das Design längeren Kontext zu beherrschbaren Kosten. Nutzende können Mixtral 8x7B lokal oder auf moderaten Cloud-GPUs ausführen, weil der aktive Speicherverbrauch nahe an einem dichten 13B-Modell bleibt. Unternehmen, die interne Assistenten bereitstellen, gewinnen höhere Ausgabequalität ohne proportionale Zunahme der Serving-Hardware.

Forschungsgruppen nutzen MoE bei Skalierungsgesetzen, um zu prüfen, ob Leistung weiter steigt, sobald die Gesamtparameter den Punkt übersteigen, an dem dichtes Training unpraktisch wird. Arbeiten zum Switch Transformer zeigten, dass ein MoE-Modell mit über einer Billion Parametern stabil trainieren kann, wenn zusätzliche Verluste zur Lastverteilung eingesetzt werden.

Häufige Fragen zu Mixture of Experts in der KI.

Frage: Wie verringert Mixture of Experts die Inferenzkosten gegenüber einem dichten Modell gleicher Gesamtgröße?

Antwort: Nur die ausgewählten Experten führen Matrixmultiplikationen aus. Die Routerkosten sind gering, und die Speicherbandbreite wird durch aktive statt durch alle Gewichte bestimmt. Deshalb folgt die Generierungsgeschwindigkeit der Größe der aktiven Experten.

Frage: Benötigt Mixture of Experts besondere Hardware?

Antwort: Standard-GPUs reichen aus. Effiziente Inferenz profitiert von Kernels, die Experten ohne Beitrag überspringen, doch die Architektur selbst läuft in bestehenden Transformer-Runtimes, sobald die Modellgewichte geladen sind.

Frage: Wie unterscheidet sich das Training von einem dichten Transformer?

Antwort: Der Router muss zusammen mit den Experten trainiert werden. Zusätzliche Verluste halten die Auslastung der Experten im Gleichgewicht. Ohne diese Terme erhalten manche Experten fast keine Tokens und lernen nie nützliche Repräsentationen.

Frage: Kann Mixture of Experts wie ein dichtes Modell fein abgestimmt werden?

Antwort: Ja. Dieselben Pipelines für überwachtes Fine-Tuning und Präferenzoptimierung gelten. Nur Router und aktive Experten erhalten bei jedem Beispiel Gradienten, was den Speicherbedarf beim Backward Pass sogar verringern kann.

Frage: Was passiert, wenn der Router jedes Token an denselben Experten sendet?

Antwort: Dieser Experte erhält unverhältnismäßig viele Gradienten, während die anderen unzureichend trainiert bleiben. Beim Vortraining werden Lastverteilungsverluste und Router-Jitter ergänzt, um einen Kollaps auf einen einzelnen Experten zu verhindern.

Der praktische Test lautet, ob dieser Ansatz einen wiederkehrenden Arbeitsschritt verbessert, ohne Quellen, Kosten oder Fehlermöglichkeiten zu verschleiern. Beginnen Sie mit einer repräsentativen Aufgabe, behalten Sie bei folgenreichen Fehlern einen menschlichen Kontrollpunkt bei und bewerten Sie das Ergebnis neu, wenn sich Modelle und Produkte verändern.

Tool-Verzeichnis ansehen →