Amazon a annoncé le 19, heure locale, la mise en place d’un outil open source appelé TorchNeuron. Son avantage principal est simple : les codes Python de PyTorch écrits par les développeurs peuvent être exécutés nativement sur la puce Trainium développée par Amazon, sans avoir besoin de les réécrire, en modifiant simplement une seule configuration. Cet outil sera officiellement publié sous licence open source le 20 au cours de la conférence North American PyTorch à San Jose, en Californie.
Pour prouver que « sans couture » n’est pas qu’un mot, les ingénieurs d’Amazon ont exécuté la même script de formation de l’IA sur des puces traditionnelles et sur Trainium, à la différence seulement que les paramètres spécifiés dans le code pour choisir la puce utilisée varient. En conséquence, dans les deux environnements, le contenu appris par le modèle est identique et la vitesse d’apprentissage est la même. Cela signifie que les outils que les développeurs utilisent pour tester, déboguer et étendre les modèles peuvent être transférés directement sur Trainium sans aucune modification.
En visant le monopole de CUDA, il faut donner aux développeurs la liberté de changer de processeur
Le adversaire de cette stratégie est la barrière de sécurité que NVIDIA a construit avec CUDA pendant plus de dix ans. PyTorch est piloté par Meta et adopté par la majorité des développeurs d’IA, et c’est grâce à CUDA que NVIDIA permet aux codes PyTorch de fonctionner efficacement sur ses propres puces, en reliant l’écosystème au GPU. C’est cette liaison qu’Amazon cherche à exploiter.
Amazon qualifie TorchNeuron de « facteur clé longtemps manquant dans l’industrie » – une véritable liberté d’option viable. La logique est la suivante : lorsque les développeurs peuvent changer librement entre différents chips sans coûts supplémentaires, les fabricants de chips ne peuvent que proposer des produits plus compétitifs pour se distinguer ; en contrepartie, les développeurs bénéficient d’une réduction des coûts et d’une accélération de l’itération. De plus, Amazon participe activement au développement en amont de PyTorch, en collaborant avec la communauté pour supprimer les codes qui lient le framework à des puces spécifiques. L’objectif est de rendre PyTorch plus « indépendant du matériel » pour tout le groupe de développeurs, plutôt que de servir uniquement les utilisateurs de Trainium.
Dans un contexte de compétition intense, cette action d’Amazon vise à ouvrir la voie pour son propre Trainium, tout en contournant le monopole écologique d’NVIDIA grâce à l’ouverture du code source. Lorsque le changement de carte mère devient un paramètre de transformation, le modèle où les GPU dominent seule est entaillé par une fissure qui peut être exploitée.