Jedes Mixture-of-Experts-Modell (MoE) wiederholt für jeden Token eine einzige Entscheidung: welche Experten ihn verarbeiten sollen. Diese Entscheidung trifft der Router. MoE-Routing-Strategien prägen Qualität, Lastverteilung und Serving-Kosten in jedem großen offenen Modell. Dieser Guide erklärt die 7 Routing-Strategien, die im Produktiveinsatz verwendet werden, und die Modelle, die jede davon nutzen.
TL;DR
- Größe: Router wählen aus 8 Experten (Mixtral) bis 384 (DeepSeek-V4-Pro) aus und aktivieren 1 bis 8 pro Token.
- Läuft auf: Die Routing-Kosten zeigen sich bei Multi-GPU-Expertenparallelität, wo jede Entscheidung zu All-to-All-Netzwerkverkehr wird.
- Performance: Sigmoid-Scoring mit aux-loss-freiem Bias-Balancing ist das dominierende Rezept 2026 für offene MoE-Frontier-Modelle.
- Bestes: Loss-free Balancing senkte MaxVio bei 1B von 0.72 auf 0.04, mit niedrigerer Perplexity.
- Schlechtestes: Expert Choice leakt zukünftige Tokens in kausalen Modellen; ein Test zeigte einen abnormalen Loss-Abfall von rund 10%.
- Fazit: Das Beste: Bias-basiertes Balancing fügt keine störenden Gradienten hinzu. Das Schlechteste: Kein Router beseitigt die Notwendigkeit von Load-Fixes zur Serving-Zeit.
Was ist MoE-Routing?
MoE-Routing ist der Mechanismus, der jeden Token an eine kleine Teilmenge von Expertennetzwerken sendet. Ein Router bewertet jeden Experten, behält die besten Kandidaten und gewichtet deren Ausgaben. Nur die ausgewählten Experten werden ausgeführt. Mixtral 8x7Bgibt jedem Token beispielsweise Zugriff auf 47B Parameter, nutzt aber nur 13B aktive Parameter.
Die 7 im Produktiveinsatz verwendeten MoE-Routing-Strategien
1. Softmax Top-k Token-Wahl
Jeder Token bewertet alle Experten mit einer linearen Schicht und behält die k höchsten. Ein Softmax über diese k Scores legt die Mischgewichte fest. Mixtral wählt 2 von 8 Experten. gpt-oss-120b wählt 4 von 128. Qwen3-235B-A22B wählt 8 von 128. Ein Auxiliary Loss hält die Expertenlast meist gleichmäßig.
Verwendet von: Mixtral, gpt-oss, Qwen3.
2. Top-1-Switch-Routing mit einem Kapazitätsfaktor
Switch Transformer zeigte, dass das Routing jedes Tokens zu 1 Experten die Qualität erhält und die Router-Rechenlast senkt. Jeder erhält einen festen Puffer: Tokens pro Batch geteilt durch Experten, mal einem Kapazitätsfaktor. Tokens, die den Puffer überschreiten, überspringen die Schicht über die Residual-Verbindung. Llama 4 Maverick sendet ebenfalls jedes Token zu 1 gerouteten Experten, zusätzlich zu einem gemeinsamen Experten.
Verwendet von: Switch Transformer, Llama 4 Maverick (mit einem gemeinsamen Experten).
3. Gemeinsame plus geroutete Experten
DeepSeekMoE teilt jede Schicht in stets aktive gemeinsame Experten und sparsam geroutete Experten auf. Der gemeinsame Experte erfasst allgemeines Wissen, sodass die gerouteten Experten sich spezialisieren können. DeepSeek-V3 verwendet 1 gemeinsamen und 256 geroutete Experten und aktiviert 8 davon. Kimi K2, GLM-4.5 und Qwen3.6-35B-A3B folgen demselben Muster. Qwen3 ging den umgekehrten Weg und entfernte gemeinsame Experten.
Verwendet von: DeepSeek-V3 und V4, Kimi K2, GLM-4.5, Qwen3.6, Llama 4.
4. Sigmoid-Gating mit aux-loss-freiem Bias
DeepSeek-V3 bewertet Experten mit einer Sigmoid-Funktion statt eines Softmax. Es fügt einen Bias pro Experte nur bei der Auswahl der Top-k hinzu. Nach jedem Schritt sinkt der Bias für überlastete Experten und steigt für untätige. Die Mischgewichte stammen weiterhin aus den Rohwerten. GLM-4.5 verwendet loss-free balance routing mit Sigmoid-Gates. DeepSeek-V4 wechselt den Score zu sqrtsoftplus, behält aber den Bias-Ausgleich bei.
Verwendet von: DeepSeek-V3, DeepSeek-V4, GLM-4.5, Kimi K2.
5. Gruppen- und knotenbeschränktes Routing
Ein Token an Experten auf vielen Knoten zu senden ist teuer. DeepSeek-V3 begrenzt jedes Token auf 4 Knoten, ausgewählt anhand ihrer höchsten Affinity-Scores. Seine Konfiguration teilt die Experten in 8 Gruppen auf und behält 4, bevor die endgültige Top-8-Auswahl erfolgt. DeepSeek sagt, diese Begrenzung erlaubt es, Training nahezu vollständig Rechnung und Kommunikation zu überlappen. Kimi K2 verzichtet vollständig auf Gruppierung, mit n_group auf 1 gesetzt.
Verwendet von: DeepSeek-V2 und V3.
6. Expert-Choice-Routing
Googles expert choice routing kehrt die Richtung um. Jeder Experte wählt seine Top-k-Tokens aus, sodass jeder Experte eine feste Bucket-Größe erhält. Tokens können eine variable Anzahl von Experten erhalten. Das Paper berichtet von einer mehr als 2x schnelleren Trainingskonvergenz. Der Haken ist die Kausalität: Der Experte eines Tokens kann von späteren Tokens abhängen. DeepSeek-Forscher maßen einen abnormalen Loss-Abfall von etwa 10% durch diese Leckage.
Verwendet von: Forschungs- und nicht-kausale Umgebungen. Keines der 10 Modelle in unserer Begleittabelle verwendet es.
7. Hash-Routing und dynamisches Top-k
Hash-Routing weist Experten anhand der Token-ID zu, ohne gelernten Router. DeepSeek-V4 verwendet Hash-Routing in seinen ersten 3 MoE-Schichten. Dynamisches Top-k erlaubt, dass die Anzahl der aktiven Experten pro Token variiert. SMIDT baute es in SGLang ein und verbesserte die P99 Time-to-First-Token um 1.21 bis 1.26x.
Verwendet von: DeepSeek-V4 (Hash-Routing), Research-Serving-Systeme (dynamisches Top-k).
MoE-Routing-Strategien im Vergleich
| Strategie | Wer wählt aus | Wie die Last verteilt wird | Hauptrisiko | Verwendet von |
|---|---|---|---|---|
| Softmax top-k | Token wählt k Experten | Auxiliary Loss | Loss handelt Qualität gegen Ausgewogenheit | Mixtral, gpt-oss, Qwen3 |
| Top-1 Switch | Token wählt 1 Experten | Aux Loss + Kapazitätsfaktor | Verworfene Overflow-Tokens | Switch, Llama 4 Maverick |
| Shared + Routed | Token wählt Routing; geteilte läuft immer | Erbt geroutete Methode | Zusätzliche Always-on-Rechenleistung | DeepSeek, Kimi K2, GLM-4.5, Qwen3.6 |
| Sigmoid + Bias | Token wählt über verzerrten Score | Pro-Experte-Bias, kein Loss-Gradient | Ungleichgewicht innerhalb einer Sequenz | DeepSeek-V3/V4, GLM-4.5, Kimi K2 |
| Knotenbegrenzt | Token-Auswahl innerhalb begrenzter Knoten | Erbt die geroutete Methode | Schränkt die Expertenauswahl ein | DeepSeek-V2/V3 |
| Expert Choice | Experte wählt k Tokens aus | Konstruktionsbedingt fest | Leckage zukünftiger Tokens | Forschungsmodelle |
| Hash / dynamisch | Token-ID oder variables k | Feste Zuordnung oder adaptives k | Weniger erlernte Spezialisierung | DeepSeek-V4, SMIDT |
Welche MoE-Routing-Strategie sollten Sie verwenden?
Die meisten Teams wählen keinen Router. Sie erben einen, wenn sie sich für einen Checkpoint entscheiden. Lesen Sie vor dem Serving 4 Felder in der config.json: Expertenzahl, Experten pro Token, gemeinsame Experten und topk_method. Das Ändern von Top-k bei der Inferenz verändert das Modell selbst, behandeln Sie es also als Qualitätsexperiment. Für neue Pretraining-Läufe ist Sigmoid-Scoring mit Bias-Balancing der aktuelle Open-Source-Standard.
Kernaussagen
- Top-k-Token-Auswahl ist der Baseline-Ansatz; k reicht von 1 (Llama 4) bis 8 (DeepSeek-V3, Qwen3).
- Gemeinsame Experten sind Standard bei DeepSeek, Kimi, GLM und Qwen3.6; Qwen3 hat sie entfernt.
- Sigmoid plus Bias-Balancing ist der Standard von 2026 für offene MoE-Modelle an der Spitze.
- Expert Choice balanciert perfekt, leckt jedoch zukünftige Tokens in kausalen LLMs.
- DeepSeek-V4 fügt Hash-Routing zu seinen ersten 3 MoE-Schichten hinzu.
Sehen Sie sich die Primärquellen an: Switch Transformer, Expert Choice, Loss-Free Balancing, DeepSeek-V3-Bericht und die DeepSeek-V4-Modellkarte. Folgen Sie uns gerne auf Twitter und vergessen Sie nicht, unserem beizutreten: 150k+ ML SubReddit und abonniere unseren Newsletter. Warte! Bist du auf Telegram? jetzt kannst du uns auch auf Telegram beitreten.
Möchtest du mit uns zusammenarbeiten, um dein GitHub Repo ODER deine Hugging Face Page ODER ein Produkt-Release ODER ein Webinar etc. zu bewerben? Verbinde dich mit uns
Der Beitrag MoE-Routing-Strategien erklärt: Top-K, Expert-Choice, Sigmoid-Gating und dynamisches Routing (Leitfaden 2026) erschien zuerst auf MarkTechPost.