Los modelos abiertos de Mixture-of-Experts (MoE) comparten una idea pero discrepan en casi todos los detalles del enrutamiento. El número de expertos varía de 8 a 384. El top-k varía de 1 a 8. Algunos modelos mantienen un experto compartido siempre activo; otros lo eliminan.
TL;DR
- Tamaño: 10 modelos, desde Qwen3.6-35B-A3B (35B totales, 3B activos) hasta DeepSeek-V4-Pro (1.6T totales, 49B activos).
- Se ejecuta en: gpt-oss-120b cabe en una sola GPU de 80 GB con MXFP4; DeepSeek-V4-Pro y Kimi K2 necesitan paralelismo de expertos en varias GPUs.
- Rendimiento: La dispersión enrutada abarca desde 4x en Mixtral (8 expertos, top-2) hasta 128x en Llama 4 Maverick (128, top-1).
- Mejor: Kimi K2 halló que la dispersión 48 necesitaba 1.69x menos FLOPs que la dispersión 8 con la misma pérdida de validación.
- Peor: Llama 4 Maverick y gpt-oss no publican su método de gating ni de balanceo en config.json.
- Conclusión: Lo mejor: las configs hacen el enrutamiento totalmente auditable. Lo peor: nombres como «17B activos» ocultan enrutadores muy diferentes.
¿Cómo enrutan tokens los modelos MoE abiertos?
Cada modelo siguiente usa enrutamiento token-choice: cada token selecciona sus propios expertos. Se diferencian en 5 parámetros. Estos son el número de expertos, los expertos por token, los expertos compartidos, la función de puntuación y el método de balanceo de carga. La tabla enumera cada parámetro por modelo.
Tabla comparativa de enrutamiento MoE (noviembre de 2026)
| Modelo | Parámetros totales / activos | Expertos enrutados | Top-k | Expertos compartidos | Gating | Balanceo de carga |
|---|---|---|---|---|---|---|
| Mixtral 8x7B | 47B / 13B | 8 | 2 | 0 | Softmax sobre top-k | Pérdida auxiliar, coeficiente 0.02 (config) |
| gpt-oss-120b | 117B / 5.1B | 128 | 4 | 0 | Softmax sobre seleccionados | No divulgado |
| Qwen3-235B-A22B | 235B / 22B | 128 | 8 | 0 | Softmax, normalizado top-k | Pérdida auxiliar de lote global, coef 0.001 |
| Qwen3.6-35B-A3B | 35B / 3B | 256 | 8 | 1 | No revelado | Pérdida auxiliar, coef 0.001 (config) |
| Llama 4 Maverick | 400B / 17B | 128 | 1 | 1 | No revelado | No revelado |
| DeepSeek-V3 | 671B / 37B | 256 | 8 | 1 | Sigmoid | Sesgo sin pérdida auxiliar (noaux_tc) |
| DeepSeek-V4-Pro | 1.6T / 49B | 384 | 6 | 1 | sqrtsoftplus | noaux_tc; enrutamiento hash en 3 capas |
| DeepSeek-V4-Flash | 284B / 13B | 256 | 6 | 1 | sqrtsoftplus | noaux_tc; enrutamiento hash en 3 capas |
| Kimi K2 | 1.04T / 32B | 384 | 8 | 1 | Sigmoid | noaux_tc + auxiliar de secuencia, alpha 0.001 |
| GLM-4.5 | 355B / 32B | 160 | 8 | 1 | Sigmoid | Enrutamiento de balanceo sin pérdida |
Fuentes: el config.json, la tarjeta del modelo o el informe técnico de cada modelo, verificados el 7 de noviembre de 2026. Las configuraciones y tarjetas de Qwen3.6 y Llama 4 omiten el gating. gpt-oss y Llama 4 omiten el método de balanceo.
¿Cómo funciona el enrutamiento de DeepSeek-V3?
DeepSeek-V3 puntúa 256 expertos enrutados con una sigmoid, y luego normaliza las puntuaciones seleccionadas. Un sesgo por experto orienta la selección del top-8 sin tocar los pesos de mezcla. Los expertos se agrupan en 8 grupos, y el enrutador mantiene primero 4 grupos. Cada token llega como máximo a 4 nodos, según el informe técnico. Un experto compartido se ejecuta para cada token.
¿Qué cambió en el enrutamiento de DeepSeek-V4?
DeepSeek-V4 eleva Pro a 384 expertos enrutados pero reduce el top-k de 8 a 6. La función de puntuación pasa a ser sqrtsoftplus. Las primeras 3 capas MoE utilizan enrutamiento por hash, un mapa fijo de token a experto. El equilibrio basado en sesgos de noaux_tc se mantiene.
¿Cuántos expertos utiliza Qwen3 MoE?
Ambos modelos Qwen3 MoE originales utilizan 128 expertos y dirigen cada token a 8. Qwen3 eliminó los expertos compartidos de Qwen2.5-MoE y adoptó una pérdida de equilibrio de lote global. Qwen3.6-35B-A3B cambia de rumbo: 256 expertos, 8 enrutados más 1 compartido, según su ficha de modelo.
¿En qué se diferencia el enrutamiento de Llama 4 Maverick?
Llama 4 Maverick alterna capas densas y capas MoE. En cada capa MoE, un token va a 1 experto compartido y a 1 de 128 expertos enrutados. Ese diseño top-1 recuerda al Switch Transformer. Mantiene 17B de parámetros activos a pesar de tener 400B en total.
¿Cómo enruta los tokens gpt-oss?
gpt-oss-120b utiliza un enrutador lineal sobre 128 expertos y conserva los 4 principales. Su config no enumera ningún experto compartido. Sus pesos MoE se distribuyen en MXFP4, lo que permite que el modelo de 117B quepa en una sola GPU de 80 GB.
¿Por qué Kimi K2 y GLM-4.5 se parecen a DeepSeek-V3?
Kimi K2 se entrega con la clase de arquitectura DeepseekV3ForCausalLM y el router noaux_tc. Eleva los expertos enrutados a 384 con el mismo top-8. El Informe de Kimi K2 encontraron que una mayor dispersión reducía la pérdida con un cómputo activo fijo. GLM-4.5 optó por 160 expertos y más capas, favoreciendo la profundidad sobre la amplitud.
Lo que significa la tendencia para el servicio
Más expertos por capa significan más pesos residentes en memoria y más tráfico all-to-all. Un top-k más bajo, como en DeepSeek-V4, recorta el cómputo y la comunicación por token. Los expertos compartidos añaden una ruta densa que cada token paga. Verifica estos campos antes de dimensionar GPUs para cualquier despliegue MoE.
Puntos clave
- El número de expertos creció de 8 (Mixtral) a 384 (Kimi K2, DeepSeek-V4-Pro).
- El top-k ahora abarca desde 1 (Llama 4) hasta 8 (DeepSeek-V3, Qwen3, Kimi K2, GLM-4.5).
- 7 de cada 10 modelos conservan 1 experto compartido; Mixtral, gpt-oss y Qwen3 no lo hacen.
- Sigmoid o sqrtsoftplus con equilibramiento de sesgo es el estándar de la familia DeepSeek.
- Llama 4 y gpt-oss dejan sin publicar los detalles de gating o balanceo.
Fuentes del modelo: DeepSeek-V4-Pro, Informe de DeepSeek-V3, Informe de Qwen3, Informe de Kimi K2, Informe de GLM-4.5, Artículo de Mixtral. Vea también gpt-oss-120b y el anuncio de Llama 4.
Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de ML con más de 150k y suscribirse a nuestro boletín. ¡Espere! ¿está en telegram? ahora también puede unirse a nosotros en telegram.
¿Necesita asociarse con nosotros para promocionar su repositorio de GitHub O página de Hugging Face O lanzamiento de producto O webinar, etc.? Conéctese con nosotros
La entrada ¿Qué enrutamiento usa cada modelo MoE? Comparación de DeepSeek, Qwen, Mixtral, Llama 4, gpt-oss apareció primero en MarkTechPost.