Les modèles Mixture-of-Experts (MoE) ouverts partagent une même idée mais divergent sur presque chaque détail de routage. Le nombre d'experts va de 8 à 384. Le top-k va de 1 à 8. Certains modèles conservent un expert partagé toujours actif ; d'autres le suppriment.
TL;DR
- Taille : 10 modèles, de Qwen3.6-35B-A3B (35B au total, 3B actifs) à DeepSeek-V4-Pro (1.6T au total, 49B actifs).
- Fonctionne sur : gpt-oss-120b tient sur un seul GPU de 80 GB avec MXFP4 ; DeepSeek-V4-Pro et Kimi K2 nécessitent un parallélisme d'experts multi-GPU.
- Performance : La sparsité routée s'étend de 4x dans Mixtral (8 experts, top-2) à 128x dans Llama 4 Maverick (128, top-1).
- Meilleur : Kimi K2 a montré que la sparsité 48 nécessitait 1.69x moins de FLOPs que la sparsité 8 à perte de validation égale.
- Pire : Llama 4 Maverick et gpt-oss ne publient pas leur méthode de gating ou d'équilibrage dans le config.json.
- En résumé : Le meilleur : les configs rendent le routage entièrement auditable. Le pire : des noms comme « 17B actifs » cachent des routeurs très différents.
Comment les modèles MoE ouverts routent-ils les tokens ?
Chaque modèle ci-dessous utilise le routage token-choice : chaque token sélectionne ses propres experts. Ils diffèrent sur 5 réglages. Ce sont le nombre d'experts, le nombre d'experts par token, les experts partagés, la fonction de scoring et la méthode d'équilibrage de charge. Le tableau liste chaque réglage par modèle.
Tableau comparatif du routage MoE (novembre 2026)
| Modèle | Params totaux / actifs | Experts routés | Top-k | Experts partagés | Gating | Équilibrage de charge |
|---|---|---|---|---|---|---|
| Mixtral 8x7B | 47B / 13B | 8 | 2 | 0 | Softmax sur le top-k | Aux loss, coef 0.02 (config) |
| gpt-oss-120b | 117B / 5.1B | 128 | 4 | 0 | Softmax sur les éléments sélectionnés | Non divulgué |
| Qwen3-235B-A22B | 235B / 22B | 128 | 8 | 0 | Softmax, normalisation top-k | Perte auxiliaire par batch global, coef 0.001 |
| Qwen3.6-35B-A3B | 35B / 3B | 256 | 8 | 1 | Non divulgué | Perte auxiliaire, coef 0.001 (config) |
| Llama 4 Maverick | 400B / 17B | 128 | 1 | 1 | Non divulgué | Non divulgué |
| DeepSeek-V3 | 671B / 37B | 256 | 8 | 1 | Sigmoid | Biais sans perte auxiliaire (noaux_tc) |
| DeepSeek-V4-Pro | 1.6T / 49B | 384 | 6 | 1 | sqrtsoftplus | noaux_tc ; routage par hachage dans 3 couches |
| DeepSeek-V4-Flash | 284B / 13B | 256 | 6 | 1 | sqrtsoftplus | noaux_tc ; routage par hachage dans 3 couches |
| Kimi K2 | 1.04T / 32B | 384 | 8 | 1 | Sigmoid | noaux_tc + auxiliaire par séquence, alpha 0.001 |
| GLM-4.5 | 355B / 32B | 160 | 8 | 1 | Sigmoid | Routage d'équilibrage sans perte (Loss-free balance) |
Sources : chaque config.json du modèle sur Hugging Face, fiche modèle ou rapport technique, vérifié le 7 novembre 2026. Les configs et fiches de Qwen3.6 et Llama 4 omettent le gating. gpt-oss et Llama 4 omettent la méthode d'équilibrage.
Comment fonctionne le routage de DeepSeek-V3 ?
DeepSeek-V3 évalue 256 experts routés avec une sigmoïde, puis normalise les scores sélectionnés. Un biais par expert oriente la sélection des 8 meilleurs sans toucher aux poids de mélange. Les experts sont répartis en 8 groupes, et le routeur conserve d'abord 4 groupes. Chaque token atteint au plus 4 nœuds, selon le rapport technique. Un expert partagé s'exécute pour chaque token.
Qu'est-ce qui a changé dans le routage de DeepSeek-V4 ?
DeepSeek-V4 porte les experts routés de Pro à 384 mais abaisse le top-k de 8 à 6. La fonction de score devient sqrtsoftplus. Les 3 premières couches MoE utilisent le routage par hachage, une correspondance fixe token-vers-expert. L'équilibrage noaux_tc par biais est conservé.
Combien d'experts le MoE de Qwen3 utilise-t-il ?
Les deux modèles Qwen3 MoE originaux utilisent 128 experts et routent chaque token vers 8. Qwen3 a abandonné les experts partagés de Qwen2.5-MoE et a adopté une perte d'équilibrage par lot global. Qwen3.6-35B-A3B change de cap : 256 experts, 8 routés plus 1 partagé, selon sa fiche modèle.
En quoi le routage de Llama 4 Maverick diffère-t-il ?
Llama 4 Maverick alterne des couches denses et MoE. Dans chaque couche MoE, un token est envoyé à 1 expert partagé et à 1 parmi 128 experts routés. Cette conception top-1 rappelle le Switch Transformer. Il conserve 17B de paramètres actifs malgré 400B au total.
Comment gpt-oss route-t-il les tokens ?
gpt-oss-120b utilise un routeur linéaire sur 128 experts et conserve les 4 premiers. Sa configuration ne mentionne aucun expert partagé. Ses poids MoE sont livrés en MXFP4, ce qui permet au modèle de 117B de tenir sur un seul GPU de 80 GB.
Pourquoi Kimi K2 et GLM-4.5 ressemblent-ils à DeepSeek-V3 ?
Kimi K2 est livré avec la classe d'architecture DeepseekV3ForCausalLM et le routeur noaux_tc. Il porte les experts routés à 384 avec le même top-8. Le rapport de Kimi K2 a constaté qu'une sparsité plus élevée réduisait la loss à compute actif fixe. GLM-4.5 a plutôt choisi 160 experts et plus de couches, privilégiant la profondeur à la largeur.
Ce que la tendance signifie pour le déploiement en serving
Plus d'experts par couche signifie plus de poids résidant en mémoire et plus de trafic all-to-all. Un top-k plus faible, comme dans DeepSeek-V4, réduit le compute et la communication par token. Les experts partagés ajoutent un chemin dense que chaque token paie. Vérifiez ces champs avant de dimensionner les GPU pour tout déploiement MoE.
Points clés
- Le nombre d'experts est passé de 8 (Mixtral) à 384 (Kimi K2, DeepSeek-V4-Pro).
- Le top-k s'étend désormais de 1 (Llama 4) à 8 (DeepSeek-V3, Qwen3, Kimi K2, GLM-4.5).
- 7 des 10 modèles conservent 1 expert partagé ; Mixtral, gpt-oss et Qwen3 ne le font pas.
- Sigmoïde ou sqrtsoftplus avec équilibrage par biais est la norme de la famille DeepSeek.
- Llama 4 et gpt-oss laissent des détails de gating ou d'équilibrage non publiés.
Sources des modèles : DeepSeek-V4-Pro, Rapport DeepSeek-V3, Rapport Qwen3, Rapport Kimi K2, Rapport GLM-4.5, Article Mixtral. Voir aussi gpt-oss-120b et le annonce Llama 4.
Par ailleurs, n'hésitez pas à nous suivre sur Twitter et n'oubliez pas de rejoindre notre 150k+ML SubReddit et de vous abonner à notre Newsletter. Attendez ! êtes-vous sur telegram ? vous pouvez désormais nous rejoindre sur telegram également.
Besoin de vous associer à nous pour promouvoir votre dépôt GitHub OU votre page Hugging Face OU le lancement d'un produit OU un webinaire, etc. ? Connectez-vous avec nous
L'article Quelle approche de routage chaque modèle MoE utilise-t-il ? Comparaison de DeepSeek, Qwen, Mixtral, Llama 4 et gpt-oss est apparu en premier sur MarkTechPost.