Higher-Order Pruning of Experts in Mixture-of-Experts Language Models
Einführung
Mixture-of-Experts-Modelle (MoE) haben es.state-of-the-art LLMs ermöglicht, auf Hunderte von Milliarden Parametern skaliert zu werden, aber sie bringen einen grundlegenden und kostspieligen Nachteil mit sich: Jedes Experten-MLP muss zur Inferenzzeit im Speicher vorhanden sein, obwohl die überwiegende Mehrheit für jedes gegebene Token inaktiv ist. Zum Beispiel verfügt Qwen3.5-122B über 256 Experten in jedem seiner 48 MoE-Schichten, und 95% seines Speicherbedarfs von rund 250 GB an Parametern werden allein von diesen Experten-MLPs belegt. Für jedes gegebene Token werden jedoch nur 8 Experten in jeder Schicht tatsächlich verwendet.
Expert Pruning ist eine der direktesten Lösungen für diesen Speicherengpass. Das heißt, die am wenigsten nützlichen Experten werden dauerhaft gelöscht. Pruning vermeidet die Latenzprobleme, die das dynamische Laden/Entladen von Experten unpraktikabel machen; es erfordert kein Training; und es lässt sich mit Quantisierung kombinieren. Angesichts dieser attraktiven Vorteile und der Einfachheit der Idee ist es leicht nachzuvollziehen, warum Expert Pruning zu einem bevorzugten Ansatz zum Verkleinern von MoEs geworden ist. Die Schwierigkeit liegt darin zu entscheiden, welche Experten am sichersten entfernt werden können.
Bestehende Pruning-Methoden bewerten jeden Experten unabhängig voneinander, weisen jedem Experten einen skalaren Wichtigkeitswert zu (basierend auf einem Kalibrierungsdatensatz) und entfernen die unwichtigsten Experten (unabhängig in jeder Schicht). Dies sind Pruning-Methoden erster Ordnung , da sie davon ausgehen, dass der Beitrag jedes Experten unabhängig von allen anderen ist. In Wirklichkeit bilden Experten kooperative Gruppen. Wir beobachten in unseren eigenen Experimenten konsistente Cluster von gemeinsam aktivierten Experten, und unabhängige Arbeiten haben gezeigt, dass die Kooperation von Experten eine stabile Eigenschaft von MoEs ist und für die Modellleistung wichtig ist. Das Ignorieren dieser Interaktionen führt zu suboptimalem Pruning, besonders bei aggressiven Raten.
Our newest paper leitet HOPE (Higher-Order Pruning of Experts) her, eine Methode zweiter Ordnung , die paarweise Interaktionen zwischen Experten berücksichtigt. Bei 50% Pruning erreicht HOPE den besten Durchschnittsrang aller Methoden, mit Gewinnen von bis zu +6.1% bei agentischen Coding-Aufgaben gegenüber der zweitbesten Pruning-Methode.
In diesem Beitrag erklären wir, wie HOPE funktioniert, zeigen, wo es bestehende Methoden übertrifft, und führen durch die Verwendung für Ihre eigenen Modelle. Für Leser, die mit MoE-Architekturen nicht vertraut sind, siehe Mixture of Experts (MoEs) in Transformers.
Experten arbeiten nicht allein
In einem Standard-MoE verfügt jede Schicht über EE Experten, und jedes Eingabe-Token xx wird unabhängig an KK solche Experten geroutet ( K=8 K = 8 ist eine typische Wahl). Das Routing erfolgt durch eine einzelne Schicht, die softmax-normalisierte Gate-Gewichte gk(x)g_{k}(x) für jeden Experten kk erzeugt, wobei die KK Experten mit den höchsten Gate-Gewichten ausgewählt werden, um die aktive Menge von Experten zu bilden, T(x)⊂{1,..,E}T(x) \subset\{1,..,E\}. Die Ausgabe der Schicht ist dann ∑k∈T(x)gk(x)fk(x)\sum\limits_{k\in T(x)}g_{k}(x)f_{k}(x), wobei fk(x)f_{k}(x) die Ausgabe des Experten kk für das Token xx ist.
Links: typische MoE-Schicht, in der jedes Token an die Top-K-Experten geroutet wird. Rechts: Methoden erster Ordnung ordnen und löschen Experten anhand eines skalaren Wichtigkeitswerts, aber die besten Pruning-Entscheidungen berücksichtigen auch die Stärke der Interaktionen zwischen Experten.
Wichtig ist, dass die Experten in der ausgewählten Menge T(x)T(x) nicht unabhängig sind. Experten bilden stabile kooperative Gruppen, die konsistent gemeinsam aktiviert werden. Dies wurde bereits in der Literaturbeobachtet: Die Muster der gemeinsamen Expertenauswahl entstehen früh im Training und stabilisieren sich im Verlauf.
Das bedeutet, dass beim Beschneiden von Experten einer MoE-Schicht die Beschneidungsentscheidungen die Effekte höherer Ordnung zwischen diesen Experten berücksichtigen müssen. Das Entfernen von Experte A mag für sich allein unproblematisch erscheinen, aber wenn Experte B – der häufig mit A zusammenarbeitet und von A abhängig ist – sehr wichtig ist, dann würde das Entfernen von A durch eine einzige Löschung eine kooperative Gruppe zerschlagen. Methoden erster Ordnung übersehen dies vollständig, da sie A und B getrennt bewerten.
Dieser Effekt verstärkt sich bei hohen Beschneidungsraten. Wenn wir bis zu 50% der Experten entfernen, riskieren wir, viele kooperative Verbindungen zu zerstören. Hier ist das Beschneiden zweiter Ordnung am vorteilhaftesten.
Wie HOPE eine Beschneidungsmenge identifiziert
(Siehe Anhang A in unserer entsprechenden Arbeit für die vollständige Herleitung des HOPE-Ziels)
Wenn wir eine Menge von PP-Experten aus einer MoE-Schicht löschen, kann sich die ausgewählte Expertenmenge T(x)T(x) (für einen beliebigen Token xx) ändern. Die entfernten Experten, die ausgewählt worden wären, werden durch die Experten mit den nächsthöheren Gate-Gewichten ersetzt. Die daraus resultierende Änderung der Schichtausgabe ist der Pruning-Fehler. Unser Ziel ist es, die Prune-Menge PP (mit einem vordefinierten Pruning-Budget ∣P∣\vert P\vert) zu finden, die den resultierenden Pruning-Fehler (über Token xx aus unserem Kalibrierungssatz) minimiert .
Leider ist die direkte Minimierung des Pruning-Fehlers über PP nicht handhabbar. Der Pruning-Fehler hängt von den Identitäten der Ersatzexperten ab, die wiederum von der Prune-Menge PP selbst abhängen. HOPE umgeht dies, indem es eine handhabbare Ersatzgröße ZZ definiert, die die dominante Komponente des Pruning-Fehlers strikt nach oben beschränkt:
Z=[∑j∈P∩T(x)gj(x)∥fj(x)∥2]2≥true errorZ = \bigl[\sum\limits_{j \in P\cap T(x)} g_{j}(x)\Vert f_j(x)\Vert_{2}\bigr]^{2} \geq \text{wahrer Fehler}
Da ZZ eine quadrierte Summe ist, erzeugt ihre Entwicklung natürlich Terme gi(x)gj(x)∥fi(x)∥2∥fj(x)∥2g_{i}(x)g_{j}(x)\Vert f_{i}(x)\Vert_{2}\Vert f_{j}(x)\Vert_{2} zwischen Expertenpaaren. Dies sind die Interaktionsterme, die Methoden erster Ordnung verwerfen.
Um die optimale Prune-Menge zu finden, minimiert HOPE E[Z]\mathbb{E}[Z] über den Kalibrierungssatz, was sich als das folgende quadratische Programm umformulieren lässt:
P∗=arg minp p⊤Fps.t.p∈{0,1}E,∑k=1Epk=∣P∣P^{*} = \argmin_{p}\; p^{\top}Fp \quad \text{u.d.B.} \quad p \in \{0,1\}^{E}, \sum\limits_{k=1}^{E}p_{k} = \vert P\vert
wobei F∈RE×EF\in\mathbb{R}^{E\times E} definiert ist als:
Fi,j=1∣Xi,j∣∑x∈Xi,jgi(x)gj(x)∥fi(x)∥2∥fj(x)∥2whereXi,j={x:i,j∈T(x)}F_{i,j} = \frac{1}{\vert \mathcal{X}_{i,j}\vert} \sum\limits_{x\in\mathcal{X}_{i,j}} g_{i}(x)g_{j}(x)\Vert f_{i}(x)\Vert_{2}\Vert f_{j}(x)\Vert_{2}\quad\text{wobei}\quad \mathcal{X}_{i,j} = \{x: i,j \in T(x)\}
Diese F-Matrix wird auf dem Kalibrierungsdatensatz erhoben, und die optimale Prune-Menge wird durch Lösen des resultierenden quadratischen Programms (QP) mit einer kontinuierlichen Relaxation erhalten (gefolgt von einer Rundung auf binäre Lösungen). Jeder Eintrag Fi,jF_{i,j} erfasst das durchschnittliche gate-gewichtete Ausgabeprodukt der Experten ii und jj über die Token hinweg, bei denen beide gemeinsam aktiviert sind. Während die Diagonale Fk,kF_{k,k} die individuelle Expertenwichtigkeit misst, messen die Nebendiagonaleinträge ( Fi,jF_{i,j} für i≠ji\neq j) den paarweisen kooperativen Beitrag.
Wie sieht FF in der Praxis aus? Es zeigt die Struktur der Expertenkooperation, die von der Schicht abhängt:
Visualisierung der Interaktionsmatrix F für GLM-4.5-Air (128 Experten pro Schicht, insgesamt 106B Parameter) in drei repräsentativen Schichten (früh, mittel, spät). Die Experten wurden geclustert, um die Blockstruktur sichtbar zu machen. Helle Blöcke entlang der Diagonale zeigen Gruppen von Experten mit starken paarweisen Interaktionswerten.
In Bezug auf die praktischen Kosten erfordert HOPE denselben Kalibrierungsdurchlauf wie jedes andere Experten-Pruning-Verfahren (ein Vorwärtsdurchlauf über die Kalibrierungsdaten). Der einzige zusätzliche Aufwand ist das Lösen des quadratischen Programms, das nicht-konvex ist, aber effizient mit einem Standard-QP-Solver gelöst werden kann (1–2 Sekunden pro Schicht). Der gesamte zusätzliche Overhead ist im Vergleich zu Methoden erster Ordnung vernachlässigbar, da die Zeit für die Kalibrierung dominiert.
Verbindung zu REAP
Bemerkenswerterweise hat HOPE eine starke Verbindung zu Router-weighted Expert Activation Pruning (REAP), einem leistungsstarken Experten-Pruning-Verfahren erster Ordnung. Die F-Matrix von HOPE kodiert individuelle Expertenwichtigkeitswerte auf der Diagonale, und diese Diagonale bildet die Scores, die REAP verwendet, um Experten unabhängig für das Pruning zu ordnen, nahezu exakt ab (mit Unterschieden nur in der Varianz der Expertenbeiträge). Die Diagonale von FF reproduziert REAPs Experten-Rankings nahezu perfekt (Spearman ρ=0.988\rho = 0.988). Somit ist jede Verbesserung, die HOPE gegenüber REAP erreicht, auf die Interaktionsterme zweiter Ordnung in den Nebendiagonaleinträgen der FF-Matrix zurückzuführen.
Ergebnisse
Wir haben HOPE als Experten-Pruning-Verfahren mit 3 Modellen (Qwen3.5-122B, Qwen3.5-35B und GLM-4.5-Air) und 2 Kalibrierungsdatensätzen (Evol-CodeAlpaca und SWE-Bench Verified-Trajektorien) evaluiert. Wir verwendeten die Tulu3-Suite und SWE-Bench Pro (agentisches Coding), um die resultierenden prunierten Modelle zu testen, und verglichen HOPE mit 4 Baselines erster Ordnung (REAP, MAN, EANund Frequency) über Pruning-Raten von 10% bis 50%.
HOPE erzielt den besten Gesamtrang über alle Bedingungen und dominiert bei aggressiven Pruning-Raten. Links: durchschnittlicher Rang (niedriger = besser) über alle Modelle, Kalibrierungssätze und Benchmarks. Rechts: SWE-Bench Pro-Leistung auf Qwen3.5-35B.
Über alle Bedingungen hinweg erreichte HOPE den besten durchschnittlichen Rang (2.07 von 5 Methoden) mit der höchsten Rate an Top-1-Abschlüssen (39% der Bedingungen) und Top-2-Abschlüssen (67%). In einem direkten Vergleich schlägt HOPE jede andere Baseline in der Mehrzahl der Bedingungen.
Wie erwartet, wächst HOPEs Vorteil bei höheren Pruning-Raten. Je mehr Experten entfernt werden, desto mehr kooperative Verbindungen werden aufgebrochen, und die Nebendiagonalelemente von FF werden wichtiger. Bei 50% Pruning verbessert sich HOPEs durchschnittlicher Rang auf 1.58 (gegenüber 2.42 für die zweitbeste Methode, REAP). Dies ist auch die für den Einsatz relevanteste Einstellung, in der die Speicherersparnisse groß genug sind, um längere Kontexte, tieferes Reasoning und mehr Tool-Aufrufe zu ermöglichen.
HOPEs Vorteil zeigt sich am deutlichsten auf SWE-Bench Pro, einem agentic-coding-benchmark, bei dem Modelle echte GitHub-Issues autonom lösen müssen. Diese Probleme umfassen kompositionell vielfältige Aufgaben (z. B. Programmieren, Tool-Aufrufe, Schlussfolgern usw.) über viele Runden hinweg und aktivieren wahrscheinlich vielfältige Kombinationen von Experten—genau der Bereich, in dem die Erhaltung kooperativer Struktur am wichtigsten ist. Auf Qwen3.5-35B-A3B bei 50 % Pruning erreichte HOPE 42.3 auf SWE-Bench Pro und lag damit auf dem Niveau des unpruneden Modells von 41.8 (während REAP auf 36.2fiel, ein Rückgang von 13 %).
Bemerkenswerterweise können geprunede Modelle gelegentlich das unprunede Baseline-Modell erreichen oder übertreffen, vermutlich weil die Entfernung schwach relevanter Experten das Rauschen auf den Zielaufgaben reduziert. Dieser Effekt ist nicht spezifisch für HOPE und wurde über verschiedene Pruning-Methoden hinweg beobachtet. Darüber hinaus zeigten unsere Experimente, dass code-fokussierte Kalibrierung mit keiner Pruning-Methode (einschließlich HOPE) die nicht-coding-Benchmarks erheblich verschlechterte, und HOPE schnitt über die gesamte Tulu3-Suite unabhängig vom Kalibrierungsdatensatz gut ab.
HOPE behält mehr kooperierende Experten
Durchschnittliche Stärke der Kooperation (gemessen am F-Matrix-Wert) mit den behaltenen Experten, aufgeschlüsselt nach Experten, bei denen HOPE und REAP nicht übereinstimmen.
HOPEs Vorteil rührt daher, dass über die gesamte Interaktionsmatrix FF optimiert wird. Um zu verstehen, wie sich dies in der Praxis auf Pruning-Entscheidungen auswirkt, betrachten wir die Experten, bei denen HOPE und REAP nicht übereinstimmen. Für jeden umstrittenen Experten berechnen wir seinen kooperativen Score (d. h. seinen durchschnittlichen F-Wert mit anderen behaltenen Experten). Experten, die nur von HOPE behalten wurden, haben durchweg höhere kooperative Scores als Experten, die nur von REAP behalten wurden. Mit anderen Worten, HOPE opfert im Rahmen der QP-Optimierung einige individuell hoch bewertete Experten zugunsten der Erhaltung kooperativer Cluster. Die Gewinnsteigerungen bei den Benchmark-Leistungen (oben gezeigt) bestätigen, dass dieser Kompromiss vorteilhaft ist.
Wie man HOPE ausführt
Wir haben ein einfaches Package erstellt, um HOPE auszuführen. Es besteht aus drei Schritten: 1) kalibrieren; 2) lösen; 3) prunen. Unser Package wurde auf Qwen3, Qwen3-Next, Qwen3.5 und GLM-4.5 getestet.
Schritt 1: Kalibrieren
hope calibrate \
--model-path Qwen/Qwen3.5-35B-A3B \
--prompts calibration_prompts.txt \
--out-path observations.h5
Der Kalibrierungsschritt führt einen einzelnen Forward-Pass über die Kalibrierungsdaten aus, seien es agentic rollouts oder Single-Turn-Traces. Dabei nutzt er HuggingFace transformers , um sich in den Forward-Pass jeder einzelnen MoE-Schicht einzuklinken. Für jedes Token wird aufgezeichnet, welche Experten ausgewählt werden, ihre Gate-Gewichte, Ausgabennormen und paarweise Co-Aktivierungsstatistiken. Das Ergebnis dieses Schritts ist die F-Matrix, gespeichert in einer HDF5-Datei.
Schritt 2: QP lösen
hope solve \
--obs-path observations.h5 \
--prune-frac 0.50 \
--out-path pruneset.json
Dieser Befehl materialisiert die F-Matrix und löst das binäre quadratische Programm über eine kontinuierliche Relaxation. Dies dauert einige Sekunden pro Schicht, und das Ergebnis ist eine JSON-Datei, die das Prune-Set enthält. Dies ist streng genommen die endgültige Ausgabe des HOPE-Algorithmus.
Schritt 3: Prunen
hope prune \
--model-path Qwen/Qwen3.5-35B-A3B \
--pruneset-path pruneset.json \
--out-path ./Qwen3.5-35B-A3B-pruned-50
Um die Pipeline abzuschließen, führen wir diesen Befehl aus, um tatsächlich den kleineren Modell-Checkpoint aus dem Prune-Set zu erzeugen. Das geprunede Modell ist ein Standard-HuggingFace-Checkpoint, der auf der Festplatte und im Speicher kleiner ist (keine Änderungen an den Modelldefinitionen von vLLM oder SGLang erforderlich).
Wir haben außerdem eine kompaktere Python-API veröffentlicht:
from hope.calibrate import calibrate
from hope.solve import solve
from hope.prune import prune_model
calibrate("Qwen/Qwen3.5-35B-A3B", calibration_prompts, "observations.h5")
solve("observations.h5", prune_frac=0.50, out_path="pruneset.json")
prune_model("Qwen/Qwen3.5-35B-A3B", "pruneset.json", "./Qwen3.5-35B-A3B-pruned-50")
Einschränkungen von HOPE
HOPEs Vorteil zeigt sich am deutlichsten bei höheren Pruning-Raten (40–50 %). Bei niedrigeren Pruning-Raten (10–20 %) sind First-Order-Methoden wie REAP und MAN manchmal konkurrenzfähig, und HOPEs Vorteil schrumpft. Darüber hinaus prunet HOPE, wie die meisten Experten-Pruning-Algorithmen, jede Schicht unabhängig und berücksichtigt keine Interaktionen zwischen Schichten. In unserem Paper haben wir einen theoretischen Rahmen für Cross-Layer-HOPE vorgestellt, die Ergebnisse bleiben jedoch vorläufig. Schließlich erfasst HOPE paarweise Interaktionen, doch noch höhergradige Interaktionen (Tripletts und darüber hinaus) könnten zusätzliches Signal liefern, obwohl sie kombinatorisch schwer zu schätzen sind.
Weitere Informationen
Weitere Informationen finden Sie in unserem zugehörigen Paper und Codebase.
Paper: https://arxiv.org/abs/2609.18916
Code: https://github.com/awslabs/HOPE
Um zu sehen, wie HOPE auf Hybridarchitekturen der nächsten Generation angewendet werden kann, siehe unser entsprechendes Repository.
Zitation:
@article{tseng2026hope,
title={Higher-Order Pruning of Experts in Mixture-of-Experts Language Models},
author={Tseng, Alex M. and Kaul, Prannay and Zancato, Luca and Xia, Wei and Soatto, Stefano},
journal={arXiv preprint arXiv:2609.18916},
year={2026},
}