Am Dienstag kündigte Google an , dass TorchTPU, seine lange erwartete Version von PyTorch, nun als Open-Source-Projekt verfügbar ist. Damit gesellt sich Google zu Amazon im Versuch, Nvidias Würggriff auf die KI-Branche zu lösen , in der die meisten KI-Apps standardmäßig für den Betrieb auf Nvidias Chips, den sogenannten GPUs, geschrieben werden.
PyTorch ist das beliebte Open-Source-Toolkit, mit dem KI-App-Entwickler und Startups KI-Modelle erstellen, trainieren und ausführen. Nach einigen Berichten wird es von 85% der KI-Apps verwendet. PyTorch wurde ursprünglich 2016 von Meta (damals Facebook) entwickelt, lange bevor die Welt auch nur ahnte, dass LLMs die Welt verändern würden. Zu diesem Zeitpunkt waren Nvidias GPUs bereits die Standard-Hardware für KI-Forschung, sodass viele Funktionen von PyTorch speziell für deren Betrieb entwickelt wurden. 2022 übergab Meta PyTorch an die Linux Foundation, eine gemeinnützige Organisation, die viele wichtige Open-Source-Projekte verwaltet.
Googles Version, TorchTPU, ermöglicht es KI-Apps, auf Googles KI-Chips zu laufen, die Tensor Processing Units (TPUs) genannt werden. Sie erleichtert auch die Übertragung bestehender PyTorch-Apps auf TPUs und damit zu Google Cloud. Entwickler können dies mit einer einfachen Konfigurationsänderung tun, ohne ihre Apps umzuschreiben.
Amazon machte eine ähnliche Ankündigung am Montag, als es seine eigene Version von PyTorch mit dem Namen TorchNeuron veröffentlichte. TorchNeuron ermöglicht es, KI-Apps auf Amazons selbst entwickelten KI-Chip Trainium und zu AWS zu portieren, ohne sie umzuschreiben. Amazon sagte außerdem, dass es in seinem Bemühen, Nvidias Griff um PyTorch zu lockern, noch weiter gehen wird. Es reicht Code beim Haupt-PyTorch-Projekt ein, der verschiedene Funktionen von Nvidias Chips entkoppelt und das Projekt standardmäßig offener für jede Hardware macht.
Google übertrumpft Amazon jedoch möglicherweise in einigen Punkten. Es sagt, es habe direkt mit Meta, Hugging Face, Inferact (Entwickler von vLLM), RadixArk (Entwickler von SGLang) und anderen zusammengearbeitet, um sicherzustellen, dass TorchTPUs Funktionen und Codebibliotheken ebenso gut mit diesen beliebten KI-Entwicklungstools funktionieren wie das ursprüngliche PyTorch.
Zusätzlich hat der Suchkonzern ein dediziertes Tool gestartet, die TPU agent suite, um Entwicklern zu helfen, ihre Apps auf Googles Chips und Cloud zu übertragen und dabei Fehler zu beheben. Es hat sogar sein beliebtes Tool LiteRT, das KI auf Smartphones, Laptops und eingebetteten Geräten ausführt, aktualisiert, damit es besser mit PyTorch-KI-Apps funktioniert.
Nichts davon bedeutet, dass KI-App-Entwickler automatisch massenhaft auf Nvidias Hardware verzichten werden, nur weil sie nun problemlos auf alternative Chips und Clouds wechseln können. Aber Amazon und Google arbeiten eindeutig daran, Nvidias Vorteil zu beenden.