Chaque modèle Mixture-of-Experts (MoE) répète une même décision pour chaque token : quels experts doivent le traiter. Cette décision appartient au routeur. Les stratégies de routage MoE façonnent la qualité, l'équilibrage de charge et le coût de service dans tous les grands modèles open source. Ce guide explique les 7 stratégies de routage utilisées en production, et les modèles qui utilisent chacune d'elles.
TL;DR
- Taille : Les routeurs choisissent parmi 8 experts (Mixtral) à 384 (DeepSeek-V4-Pro), en activant 1 à 8 par token.
- Fonctionne sur : Le coût du routage se manifeste dans le parallélisme d'experts multi-GPU, où chaque choix devient du trafic réseau all-to-all.
- Performance : Le scoring sigmoid avec équilibrage par biais sans aux-loss est la recette dominante de 2026 pour les modèles MoE open source de pointe.
- Le meilleur : L'équilibrage loss-free a réduit MaxVio de 0.72 à 0.04 à l'échelle 1B, avec une perplexité plus faible.
- Le pire : Expert choice fuite des tokens futurs dans les modèles causaux ; un test a montré une baisse de perte anormale d'environ 10%.
- En résumé : Le meilleur : l'équilibrage par biais n'ajoute aucun gradient interférent. Le pire : aucun routeur ne supprime le besoin de correctifs de charge au moment du service.
Qu'est-ce que le routage MoE ?
Le routage MoE est le mécanisme qui envoie chaque token vers un petit sous-ensemble de réseaux experts. Un routeur note chaque expert, conserve les meilleurs candidats et pondère leurs sorties. Seuls les experts sélectionnés s'exécutent. Mixtral 8x7B, par exemple, donne à chaque token accès à 47B de paramètres mais en utilise 13B actifs.
Les 7 stratégies de routage MoE utilisées en production
1. Choix de token softmax top-k
Chaque token note tous les experts avec une couche linéaire et conserve les k plus élevés. Un softmax sur ces k scores définit les poids de mélange. Mixtral choisit 2 experts sur 8. gpt-oss-120b choisit 4 sur 128. Qwen3-235B-A22B choisit 8 sur 128. Une perte auxiliaire maintient généralement une charge équilibrée des experts.
Utilisé par : Mixtral, gpt-oss, Qwen3.
2. Routage switch top-1 avec un facteur de capacité
Switch Transformer a montré que router chaque token vers 1 expert préserve la qualité et réduit le calcul du routeur. Chaque expert reçoit un tampon fixe : tokens par lot divisés par le nombre d'experts, multipliés par un facteur de capacité. Les tokens en débordement contournent la couche via la connexion résiduelle. Llama 4 Maverick envoie aussi chaque token vers 1 expert routé, plus un expert partagé.
Utilisé par : Switch Transformer, Llama 4 Maverick (avec un expert partagé).
3. Experts partagés plus experts routés
DeepSeekMoE divise chaque couche en experts partagés toujours actifs et en experts routés de manière creuse. L'expert partagé capture les connaissances communes, ce qui permet aux experts routés de se spécialiser. DeepSeek-V3 utilise 1 expert partagé et 256 experts routés, en activant 8. Kimi K2, GLM-4.5 et Qwen3.6-35B-A3B suivent le même schéma. Qwen3 est allé dans l'autre sens et a supprimé les experts partagés.
Utilisé par : DeepSeek-V3 et V4, Kimi K2, GLM-4.5, Qwen3.6, Llama 4.
4. Portes sigmoïdes avec biais sans perte auxiliaire
DeepSeek-V3 note les experts avec une sigmoïde au lieu d'un softmax. Il ajoute un biais par expert uniquement lors du choix du top-k. À chaque étape, le biais diminue pour les experts surchargés et augmente pour les experts inactifs. Les poids de mélange proviennent toujours des scores bruts. GLM-4.5 utilise le routage à équilibrage sans perte avec portes sigmoïdes. DeepSeek-V4 remplace le score par sqrtsoftplus mais conserve l'équilibrage par biais.
Utilisé par : DeepSeek-V3, DeepSeek-V4, GLM-4.5, Kimi K2.
5. Routage limité par groupe et par nœud
Envoyer un token vers des experts sur plusieurs nœuds est coûteux. DeepSeek-V3 limite chaque token à 4 nœuds, choisis selon leurs scores d'affinité les plus élevés. Sa config divise les experts en 8 groupes et en conserve 4 avant la sélection finale du top-8. DeepSeek indique que cette limite permet à l'entraînement de chevaucher presque totalement calcul et communication. Kimi K2 abandonne complètement le regroupement, avec n_group réglé à 1.
Utilisé par : DeepSeek-V2 et V3.
6. Routage au choix de l'expert
Le routage expert choice inverse le sens. Chaque expert choisit ses top-k tokens, de sorte que chaque expert reçoit un bucket de taille fixe. Les tokens peuvent recevoir un nombre variable d'experts. L'article rapporte une convergence de l'entraînement plus de 2x plus rapide. Le problème est la causalité : les experts d'un token peuvent dépendre de tokens ultérieurs. Les chercheurs de DeepSeek ont mesuré une chute anormale de perte d'environ 10% due à cette fuite.
Utilisé par : La recherche et les contextes non causaux. Aucun des 10 modèles de notre tableau comparatif ne l'utilise.
7. Routage par hachage et top-k dynamique
Le routage par hachage assigne les experts à partir de l'ID du token, sans routeur appris. DeepSeek-V4 utilise le routage par hachage dans ses 3 premières couches MoE. Le top-k dynamique permet au nombre d'experts actifs de varier selon le token. SMIDT l'a intégré dans SGLang et a amélioré le temps P99 jusqu'au premier token d'un facteur 1.21 à 1.26x.
Utilisé par : DeepSeek-V4 (routage par hachage), systèmes de service de recherche (top-k dynamique).
Stratégies de routage MoE comparées
| Stratégie | Qui choisit | Comment la charge est équilibrée | Risque principal | Utilisé par |
|---|---|---|---|---|
| Softmax top-k | Le token choisit k experts | Perte auxiliaire | La perte fait un compromis sur la qualité | Mixtral, gpt-oss, Qwen3 |
| Top-1 switch | Le token choisit 1 expert | Perte auxiliaire + facteur de capacité | Tokens en excès abandonnés | Switch, Llama 4 Maverick |
| Partagé + routé | Routage des tokens par choix ; partagé toujours exécuté | Hérite de la méthode routée | Calcul supplémentaire toujours actif | DeepSeek, Kimi K2, GLM-4.5, Qwen3.6 |
| Sigmoid + biais | Choix des tokens via score biaisé | Biais par expert, sans gradient de perte | Déséquilibre au sein d'une seule séquence | DeepSeek-V3/V4, GLM-4.5, Kimi K2 |
| Limité par nœud | Choix de tokens au sein des nœuds plafonnés | Hérite de la méthode routée | Restreint le choix des experts | DeepSeek-V2/V3 |
| Choix par les experts | Les experts choisissent k tokens | Fixe par construction | Fuite des tokens futurs | Modèles de recherche |
| Hachage / dynamique | ID de token ou k variable | Mappage fixe ou k adaptatif | Moins de spécialisation apprise | DeepSeek-V4, SMIDT |
Quelle stratégie de routage MoE devriez-vous utiliser ?
La plupart des équipes ne choisissent pas un routeur. Elles en héritent lorsqu'elles choisissent un checkpoint. Avant de servir le modèle, lisez 4 champs dans config.json : nombre d'experts, experts par token, experts partagés et topk_method. Modifier le top-k à l'inférence change le modèle lui-même, traitez donc cela comme une expérience de qualité. Pour les nouvelles exécutions de pré-entraînement, la notation sigmoïde avec équilibrage par biais est la valeur par défaut ouverte actuelle.
Points clés à retenir
- Le choix top-k de tokens est la base de référence ; k va de 1 (Llama 4) à 8 (DeepSeek-V3, Qwen3).
- Les experts partagés sont la norme dans DeepSeek, Kimi, GLM et Qwen3.6 ; Qwen3 les a supprimés.
- Sigmoïde plus équilibrage par biais est la valeur par défaut en 2026 pour les modèles MoE ouverts de pointe.
- Le choix par les experts équilibre parfaitement mais fuite les tokens futurs dans les LLM causaux.
- DeepSeek-V4 ajoute le routage par hachage à ses 3 premières couches MoE.
Consultez les sources primaires : Switch Transformer, Expert Choice, Loss-Free Balancing, rapport DeepSeek-V3 et la fiche modèle DeepSeek-V4. N'hésitez pas également à nous suivre sur Twitter et n'oubliez pas de rejoindre notre 150k+ML SubReddit et abonnez-vous à notre Newsletter. Attendez ! êtes-vous sur Telegram ? vous pouvez désormais nous rejoindre également sur Telegram.
Besoin de vous associer à nous pour promouvoir votre dépôt GitHub OU votre page Hugging Face OU le lancement d'un produit OU un webinaire, etc. ? Contactez-nous
L'article Stratégies de routage MoE expliquées : Top-K, Expert-Choice, Sigmoid Gating et routage dynamique (guide 2026) est apparu en premier sur MarkTechPost.