Am Montag veröffentlichte Amazon Web Services ein Tool namens TorchNeuron, das KI-Start-ups ermöglicht, ihre KI-Anwendungen einfach auf Amasons AI-Chip, Trainium, zu übertragen. Dadurch versucht Amazon auch direkt, den Softwarevorteil zu überwinden, der Nvidia dazu gebracht hat, zum Standard für KI-Anwendungen zu werden und seine Aufstiegs als bevorzugter KI-Hardwareanbieter zu fördern.
TorchNeuron arbeitet mit PyTorch, einem kostenlosen, Open-Source-Toolkit, das Entwickler verwenden, um AI-Modelle zu bauen, zu trainieren und auszuführen. Laut Amazon ermöglicht es, dass AI-Anwendungen, die mit PyTorch geschrieben sind, auf Trainium laufen können, indem man nur eine Zeile der Konfiguration ändert – ohne dass ein Code-Überarbeitung erforderlich ist.
Amazon sagt, dass etwa 85 Prozent der KI-Apps mit PyTorch geschrieben werden. Facebook hat sie ursprünglich entwickelt, aber seit 2022 gehört sie zur Linux Foundation, die Open-Source-Projekte betreut. Nvidia hat jahrelang dafür gesorgt, dass ihr CUDA-Software – die Softwareinfrastruktur, die es ermöglicht, Apps auf Nvidias GPUs und anderer Hardware zu laufen – nahtlos KI-Apps unterstützt, die mit PyTorch geschrieben sind. Infolgedessen ist Nvidias Hardware nun tief in das Werkzeugset integriert, im Grunde durch Standardeinstellungen.
TorchNeuron ist an PyTorch angepasst, sodass Entwickler, die PyTorch kennen, bereits wissen, wie man es verwendet. Amazon ist nicht das erste Unternehmen, das versucht, seine Chips leicht auf die Plattform zu bringen. PyTorch-Nutzer können auch ihre Apps auf AMD-GPUs oder sogar auf Apple-Chips über eine einfache Konfigurationsänderung portieren.
Allerdings behauptet Amazon, dass die Migration auf Trainium nicht nur einfach ist, sondern auch den AI-Start-ups Zugang zu dem gesamten Cloud-System von Amazon bietet. Wie zu erwarten ist, sagt AWS, dass dies eine bessere Wahl für Startups ist als die Verwendung von neoclouds, von denen viele mit Nvidia und deren Hardware verbunden sind, wie Coreweave, Nebius und Firmus.
„Sie bauen auf AWS – Sie setzen nicht darauf, einen einzigen, spezialisierten Rechendienstleister zu wählen und alles andere um ihn herum zu konstruieren“, sagte Colin Brace, VP für Technologie-Software bei AWS Annapurna Labs (der Einheit, die Amazon-Beschäftigtenchips herstellt), per E-Mail an TechCrunch. „Bei AWS“, fuhr er fort, „ist die Infrastruktur, um von der Prototypenphase zur Produktion zu gelangen, bereits vorhanden – dadurch kann ein Gründer schnell handeln und bei Bedarf skalieren.“
AWS sagt, dass der gleiche Chip sowohl für das Trainieren des KI-Modells (das Lernen des Modells) als auch für die Inferenz (die Anwendung des fertigen Modells, z. B. bei der Beantwortung von Nutzerfragen) verwendet wird und eng mit der Cloud-Infrastruktur verbunden ist, die Start-ups benötigen. Dadurch sparen sie Geld – auch wenn AWS nicht den günstigsten Preis pro Token anbietet.
„Der Wert von Trainium liegt in der Preis-Leistung sowie darin, dass es eine einzige Plattform für Training und Inference ist – was die Wirtschaftlichkeit bei einer vollen Arbeitslast verbessert“, sagte Brace. „Schauen Sie sich Deepgram an – sie wurden zu Trainium gebracht und verwenden native PyTorch. Sie bieten Unterstützung und erzeugen 70% mehr Audio pro Dollar bei Produktionsniveau und genauem Ergebnis.“ Deepgram ist ein Anbieter von AI-Voice-Apps und Konkurrent zu ElevenLabs.
Aber Amazon ist nicht bereit, nur den PyTorch-App-Entwicklern eine einfache Möglichkeit zu geben, in ihren Cloud zu wechseln.
Amazon sagt außerdem, dass sie PyTorch dazu bringen will, weniger automatisch auf Nvidia ausgerichtet zu sein, und wird den Code dafür zum Haupt-Projekt von PyTorch beitragen. In der Blogbeitrag, in der die neue Tool angekündigt wird, schrieb das Unternehmen dies:
„Amasons Ansatz geht über seine eigene Hardware hinaus. Das Unternehmen trägt Änderungen an PyTorch selbst vor, arbeitet mit der PyTorch-Community zusammen, um Code zu entfernen, der das Framework an bestimmte Chips bindet. Ziel ist es, PyTorch für die gesamte Entwicklergemeinschaft – nicht nur für die Trainium-Nutzer – hardwareunabhängiger zu machen.“
Während eine solche Taktik zweifellos für diejenigen gut ist, die Hardware- und Cloud-Dienste verkaufen, die mit Nvidia konkurrieren, ist eines der Ziele von PyTorch, alle lästigen Schwierigkeiten beim Ausführen von AI-Code auf Hardware zu verbergen. Wir müssen abwarten und sehen, ob die Forcierung von Nvidia weit genug geht, um den Entwicklern mehr Auswahlmöglichkeiten und erschwinglichere Optionen zu bieten, wie Amazon verspricht, oder nur weitere Konfigurationsprobleme zu verursachen.
Egal wie – wenn Amazon es schafft, PyTorch tiefgehend von Nvidia zu trennen, könnte das für den GPU-Giganten weitaus größere Auswirkungen haben als nur das Umgang mit Chip-Konkurrenten. Wie Brace sagte: „Die wahre Geschichte besteht darin, die Bindung zu beseitigen, die es Entwicklern verhindert, eine echte Wahl zu haben.“