Mardi, Google a annoncé que TorchTPU, sa version très attendue de PyTorch, est désormais disponible en tant que projet open source. Avec cela, Google rejoint Amazon dans une tentative de briser l'étreinte de Nvidia sur l'industrie de l'IA, où la plupart des applications d'IA sont écrites par défaut pour fonctionner sur les puces de Nvidia, ou GPU.
PyTorch est la boîte à outils open source populaire que les développeurs d'applications d'IA et les startups utilisent pour construire, entraîner et exécuter des modèles d'IA. Selon certaines estimations, elle est utilisée par 85% des applications d'IA. PyTorch a été développé à l'origine par Meta (alors Facebook) en 2016, bien avant que le monde ne pressente que les LLM changeraient le monde. À l'époque, les GPU de Nvidia étaient déjà le matériel standard pour la recherche en IA, de sorte que beaucoup de fonctionnalités de PyTorch ont été conçues pour fonctionner spécifiquement avec eux. En 2022, Meta a confié PyTorch à la Linux Foundation, une organisation à but non lucratif qui gère de nombreux projets open source importants.
La version de Google, TorchTPU, permet aux applications d'IA de fonctionner sur les puces d'IA de Google, appelées Tensor Processing Units (TPU). Elle facilite également le transfert des applications PyTorch existantes vers les TPU et, par conséquent, vers Google Cloud. Les développeurs peuvent le faire avec un simple changement de configuration et sans réécriture de leurs applications.
Amazon a fait une annonce similaire lundi, lorsqu'il a publié sa propre version de PyTorch, appelée TorchNeuron. TorchNeuron permet de porter des applications d'IA vers la puce d'IA développée en interne par Amazon, Trainium, et vers AWS sans réécriture. Amazon a également déclaré qu'il allait encore plus loin dans son effort pour desserrer l'emprise de Nvidia sur PyTorch. Il soumet du code au projet PyTorch principal qui découple diverses fonctionnalités des puces de Nvidia, le rendant plus ouvert à tout matériel par défaut.
Google pourrait cependant prendre un avantage sur Amazon de plusieurs manières. Il affirme avoir travaillé directement avec Meta, Hugging Face, Inferact (créateur de vLLM), RadixArk (créateur de SGLang) et d'autres pour garantir que les fonctionnalités et les bibliothèques de code de TorchTPU fonctionnent bien avec ces outils populaires de développement d'IA, tout comme le PyTorch original.
De plus, le géant de la recherche a lancé un outil dédié, la TPU agent suite, pour aider les développeurs à déplacer leurs applications vers les puces et le cloud de Google et à corriger les erreurs en cours de route. Il a même mis à jour son outil populaire LiteRT, qui exécute l'IA sur les téléphones, les ordinateurs portables et les appareils embarqués, pour mieux fonctionner avec les applications d'IA PyTorch.
Rien de tout cela ne signifie que les développeurs d'applications d'IA abandonneront automatiquement en masse le matériel de Nvidia simplement parce qu'ils peuvent désormais facilement passer à des puces et des clouds alternatifs. Mais Amazon et Google travaillent clairement à mettre fin à l'avantage de Nvidia.