IT之家 Nachricht vom 21. Oktober: Google kündigte am Dienstag (Ortszeit) an, dass TorchTPU, das native PyTorch-Framework für Google TPUs, nun auf GitHub als Open Source verfügbar ist. Damit versucht Google gemeinsam mit Amazon, Nvidias Monopol in der KI-Branche aufzubrechen. Derzeit werden die meisten KI-Anwendungen standardmäßig auf Basis von Nvidia-Chips entwickelt und betrieben, also auf Grafikprozessoren (GPUs).
PyTorch ist eine beliebte Open-Source-Bibliothek, auf die Entwickler von KI-Anwendungen und Startups setzen, um KI-Modelle zu erstellen, zu trainieren und bereitzustellen. Nach Statistiken nutzen 85 % der KI-Anwendungen PyTorch. PyTorch wurde ursprünglich 2016 von Meta entwickelt, zu einem Zeitpunkt, als man noch überhaupt nicht ahnte, dass große Sprachmodelle die Welt verändern würden. Nvidia-GPUs waren damals bereits die Standard-Hardware für KI-Forschung, weshalb viele Funktionen von PyTorch speziell für die Anpassung an Nvidia-GPUs entwickelt wurden. 2022 übergab Meta PyTorch an die Linux Foundation, eine gemeinnützige Organisation, die viele wichtige Open-Source-Projekte verwaltet.
Mit der von Google eingeführten TorchTPU können KI-Anwendungen auf Googles selbst entwickelten KI-Chips, den Tensor Processing Units (TPU), ausgeführt werden. Zudem ermöglicht sie eine bequeme Migration bestehender PyTorch-Anwendungen auf TPUs und damit zu Google Cloud. Entwickler müssen dafür lediglich einfache Konfigurationsänderungen vornehmen und können die Migration abschließen, ohne den Anwendungscode neu schreiben zu müssen.
Amazon hat am Montag (Ortszeit) eine ähnliche Ankündigung gemacht und eine eigene PyTorch-Variante namens TorchNeuron vorgestellt. TorchNeuron ermöglicht es, KI-Anwendungen ohne Umschreiben des Codes auf Amazons selbst entwickelten Chip Trainium sowie auf Amazon Web Services (AWS) zu übertragen. Amazon erklärte außerdem, die Kontrolle von Nvidia über PyTorch weiter schwächen zu wollen. Das Unternehmen reicht Code an das Hauptprojekt von PyTorch ein, um diverse Funktionen von Nvidia-Chips zu entkoppeln, sodass PyTorch nativ mit verschiedenster Hardware kompatibel ist.
Allerdings bemerkte IT之家, dass Google in bestimmten Bereichen möglicherweise weiter geht als Amazon. Google erklärte, man arbeite direkt mit Meta, Hugging Face, Inferact (Entwickler von vLLM), RadixArk (Entwickler von SGLang) und weiteren Partnern zusammen, um sicherzustellen, dass die Funktionen und die Codebasis von TorchTPU ebenso gut mit diesen gängigen KI-Entwicklungstools kompatibel sind wie das originale PyTorch.
Darüber hinaus hat der Suchriese eine spezielle Werkzeugsammlung namens TPU Agent Suite vorgestellt, die Entwicklern dabei helfen soll, ihre Anwendungen auf Google-Chips und die Cloud-Plattform von Google zu migrieren und dabei Fehler zu finden und zu beheben. Google hat zudem das weit verbreitete Tool LiteRT aktualisiert, das zum Ausführen von KI-Modellen auf Smartphones, Laptops und Embedded-Geräten verwendet wird; nach dem Update unterstützt es KI-Anwendungen, die auf PyTorch basieren, besser.
Diese Fortschritte bedeuten jedoch nicht, dass Entwickler von KI-Anwendungen die Hardware von Nvidia kollektiv aufgeben werden, nur weil sie bequem auf andere Chips und Cloud-Plattformen migrieren können. Doch Amazon und Google arbeiten offensichtlich daran, Nvidias Vormachtstellung zu beenden.