IT之家 Meldung vom 25. Oktober: Die seit einiger Zeit auf dem Markt befindlichen GeForce RTX 30 Grafikkarten von Nvidia (Codename Ampere) verfügen offenbar noch über ein erhebliches, ungenutztes Rechenpotenzial. Der GitHub-Nutzer Zagitta hat ein neues Open-Source-Projekt namens GPU Unlock entwickelt, das einige künstlich gesetzte Leistungslimits auf Ampere-Grafikkarten aufheben kann. Unter bestimmten Lasten kann sich der Rechendurchsatz der Tensor Cores fast verdoppeln, ohne dass der Nvidia-Treiber modifiziert oder das VBIOS der Karte dauerhaft geflasht werden muss.
IT之家 ist aufgefallen, dass sich dieses Projekt gezielt gegen eine Instruktions-Issuing-Ratenbegrenzung richtet: Bei FP16/BF16-Tensor-Core-Berechnungen mit FP32-Akkumulation laufen Consumer-Ampere-Karten langsamer als professionelle Karten. Nach Aufhebung dieser Beschränkung kann das Tool die zusätzliche Rechenleistung freisetzen, die in der Hardware der Karte ohnehin vorhanden ist.
Interessant ist, dass GPU Unlock auf früheren Forschungsarbeiten zu Nvidias CMP-Kryptomining-Grafikkarten aufbaut. Es kombiniert die Firmware-Unlock-Technik des CMP-Projekts mit einem Vorab-Initialisierungsschema und verlässt sich dabei auf ein Linux-Kernelmodul, das ausgeführt wird, bevor der Nvidia-Grafiktreiber geladen wird. Das Modul verändert die entsprechenden Hardware-Speed-Selektor-Register und führt einen Function-Level-Reset (FLR) durch; anschließend kann der Originaltreiber die Karte normal initialisieren.
Das bedeutet auch, dass Nutzer bei jedem Update auf eine neue Treiberversion den Treiber nicht mehr patchen müssen. Der Entwickler gibt derzeit Unterstützung für die GPU-Modelle GA102, GA103, GA104 und GA106 an, womit die meisten Modelle der RTX 30 Serie abgedeckt sind; allerdings ist nicht jede Karte zwangsläufig kompatibel, und eine Leistungssteigerung ist ebenfalls nicht garantiert.
Die Leistungssteigerung kann beträchtlich ausfallen. Laut den im GitHub-Repository des Projekts veröffentlichten Benchmark-Daten ergaben sich für eine RTX 3090 Ti mit einer Leistungsaufnahmegrenze von 450 W im Test der dichten Matrixmultiplikation (GEMM) mit FP32-Akkumulation folgende Ergebnisse:
Diese Steigerungen beschränken sich nicht auf die RTX 3090 Ti. Ein Nutzer einer RTX 3080 Ti meldete, dass bei einer Leistungsgrenze von 315 W der BF16-Durchsatz von 71,59 TFLOPS auf 113,98 TFLOPS stieg und die TF32-Leistung von 35,65 TFLOPS auf 65,28 TFLOPS. Ein Kompatibilitätsbericht für eine RTX 3080 10GB zeigt zudem, dass sich die FP16/BF16-Leistung unter der werkseitigen Leistungsgrenze von 320 W von etwa 65 TFLOPS auf 110–113 TFLOPS steigern ließ. Diese Testergebnisse wurden auch auf der Plattform X ausführlich diskutiert.
Aber wie sieht die Leistung in praktischen Anwendungen aus? Gut, dass Community-Nutzer bereits damit begonnen haben, diese Freischaltung unter realen KI-Workloads zu testen, und die ersten Ergebnisse sind recht vielversprechend.
Ein Nutzer einer RTX 3090 Ti führte auf Reddit Benchmark-Tests in ComfyUI durch: Der MOSS-Image SFT BF16-Durchsatz steigerte sich um 58,6 %, Qwen-Image 2.1 Turbo BF16 um 57,2 % und Z-Image Turbo BF16 um 56,1 %. Im INT8-Präzisionsmodus fiel die Steigerung hingegen gering aus; MOSS-Image SFT INT8 verbesserte sich lediglich um 0,3 %. Der Tester erklärte gleichzeitig, dass die dekodierten Ergebnisse der generierten Bilder im Standard- und im freigeschalteten Zustand völlig identisch sind.
Auch Inferenz mit großen Sprachmodellen (LLM) ist ein potenziell profitierendes Anwendungsgebiet, wobei der Zuwachs jedoch stark von der Art der Workload abhängt. So zeigt ein Kompatibilitätsbericht für eine RTX 3090, dass die Prompt-Verarbeitung und der Inferenz-Durchsatz von vLLM um 33 % stiegen, die Token-Generierungsgeschwindigkeit sich aber kaum veränderte. Das ist leicht nachvollziehbar: Der Engpass beim Decoding großer Sprachmodelle liegt meist in der Speicherbandbreite und nicht im rohen Rechendurchsatz der Tensor Cores.
Eine weitere bemerkenswerte Entwicklung ist eine experimentelle Windows-Umsetzung, die nicht mehr auf das ursprüngliche Linux-Kernelmodul setzt, sondern auf einem UEFI-basierten Verfahren beruht. Der Entwickler dokumentierte einen erfolgreichen Fall mit einer RTX 3090, bei der der BF16-Rechendurchsatz um etwa 82,5 % stieg. Diese Version befindet sich jedoch noch im experimentellen Stadium, unterstützt nur bestimmte Hardware und ist keine allgemein nutzbare, offizielle Windows-Version.
Auch diese Lösung hat deutliche Grenzen. GPU Unlock erhöht nicht die Speicherbandbreite, schaltet keine zusätzlichen CUDA-Kerne frei und beschleunigt nicht automatisch alle Workloads. Mindestens eine Rückmeldung zu einer RTX 3080 Ti 20GB zeigt, dass der Unlock-Prozess erfolgreich durchlief, die BF16-Leistung aber nicht die erwartete Steigerung aufwies – die Wirkung ist also nicht universell.
Bezüglich Spielen: Nvidias DLSS-Technologie nutzt ebenfalls die Tensor Cores, doch es gibt derzeit keinen verlässlichen Beleg dafür, dass GPU Unlock die Spielframerate erhöhen oder die DLSS-Laufzeit verkürzen kann. Nur wenn eine Aufgabe selbst die betroffenen Instruktionen und Akkumulationsmodi aufruft, ist ein Nutzen möglich. Die glänzenden Rechen-Benchmarks lassen sich also nicht gleichsetzen mit einem gleichzeitigen Anstieg der Spielfps.
Trotzdem ist GPU Unlock für Besitzer von RTX 30 Grafikkarten ein sehr attraktives neues Unterfangen, insbesondere für Nutzer, die ihre Karten für lokale KI-Inferenz, Bildgenerierung und andere rechenintensive Workloads einsetzen. Das Projekt befindet sich zwar noch im Experimentalstadium, aber ohne dauerhafte Hardware-Veränderungen eine beträchtliche zusätzliche Leistung aus der vorhandenen Karte herauszuholen, ist indeed durchaus verlockend.