Amazon gab am 19. Ortszeit bekannt, dass sie das Open-Source-Tool TorchNeuron veröffentlicht. Der Hauptvorteil ist direkt: Code, den Entwickler mit PyTorch geschrieben haben, muss nicht neu geschrieben werden. Durch eine einzige Konfigurationänderung kann er nativ auf dem von Amazon entwickelten Trainium-Chip laufen. Das Tool wird am 20. auf der North American PyTorch Konferenz in San Jose, Kalifornien, unter Open-Source-Lizenz offiziell veröffentlicht.
Um zu beweisen, dass „schlicht“ nicht nur eine leere Umschreibung ist, haben Amazon-Ingenieure denselben AI-Training-Skript auf traditionellen Chips und auf Trainium ausgeführt. Der einzige Unterschied besteht darin, dass die Einstellungsparameter für den verwendeten Chip im Code angegeben sind. In beiden Umgebungen ist das, was das Modell lernt, identisch und die Lerngeschwindigkeit ist gleich. Das bedeutet, dass die Werkzeuge, die Entwickler zur Tests, Fehlersuche und Erweiterung von Modellen verwenden, unverändert direkt auf Trainium genutzt werden können.
Ziel: Die CUDA-Monopolstellung entmystieren – den Entwicklern eine Freiheit beim Wechsel der Kernbausteine zu geben
Der Gegner dieser Taktik ist die „Zwischenzone“ von NVIDIA mit CUDA, die sie seit mehr als zehn Jahren betreibt. PyTorch wird von Meta geleitet und von den überwiegenden AI-Entwicklern verwendet. NVIDIA nutzt CUDA, um Code von PyTorch auf ihren eigenen Chips effizient auszuführen und das Ökosystem fest an die GPU zu binden. Was Amazon versucht, zu beeinflussen, ist genau diese Bindung.
Amazon bezeichnet TorchNeuron als das „langfristig fehlende Schlüsselfaktor“ der Branche – eine wirklich praktische Wahl. Die Logik ist folgende: Wenn Entwickler frei zwischen verschiedenen Chips wechseln können, ohne zusätzliche Kosten zu tragen, müssen die Chipfabriken nur noch kompetitiver Produkte anbieten, um Anteil zu bekommen. Andererseits profitieren die Entwickler von geringeren Kosten und schnelleren Iterationen. Noch weiterhin ist Amazon aktiv an der Entwicklung von PyTorch im upstream involviert und arbeitet mit der Community zusammen, um Code zu entfernen, der das Framework mit bestimmten Chips verbindet. Ziel ist es, PyTorch für die gesamte Entwicklergemeinschaft „hardwareunabhängiger“ zu machen, anstatt nur den Trainium-Nutzern zugänglich zu sein.
In der intensiven Rivalität und Kampagne zeigt Amazon mit diesem Schritt sowohl den Weg für seine eigenen Trainium-Produkte als auch die Ausnutzung des lockeren Ökosystems von Nvidia durch Open Source. Als das Wechseln der Chips von einer schweren Verletzung zu einem einfachen Parameter wird, bricht das Monopol von GPUs auf, und es entsteht eine Lücke, die genutzt werden kann.