アマゾンは現地時間の19日、オープンソースツール「TorchNeuron」を発表した。その売りは非常に明確で、開発者が作成したPyTorchコードを書き直す必要なく、設定を一箇所変更するだけで、アマゾンが自社で開発したTrainiumチップ上で直接動作するようになる。このツールは20日、カリフォルニア州サンノーシーの北米PyTorch会議でオープンソースライセンスで正式に公開される予定だ。
「シームレス」が口先だけの言葉ではないことを証明するために、アマゾンのエンジニアは同じAIトレーニングスクリプトを従来のチップとTrainiumで実行した。違いは、コード内で使用するチップの設定パラメータだけである。その結果、二つの環境でモデルが学んだ内容は完全に一致し、学習速度も同じだった。これは、開発者がモデルのテスト、デバッグ、拡張に使っているツールを、Trainiumでそのまま使用できることを意味する。
CUDAの独占状況に対抗し、開発者に「コア交換の自由」を提供する
この打法の相手は、インテルが10年以上にわたって築いてきたCUDAの優位性です。PyTorchはMetaが主導し、ほとんどのAI開発者が利用しています。インテルはCUDAを通じてPyTorchコードを自社チップ上で効率的に実行し、エコシステムをGPUに固定しています。アマゾンが狙いたいのは、まさにこの結びつきです。
アマゾンは TorchNeuron を業界にとって「長期にわたって欠けていた重要な要素」――真に実行可能な選択肢と呼んでいる。その理由はこうだ：開発者が異なるチップ間を自由に切り替えることができ、追加のコストを支払う必要がない場合、チップメーカーはより競争力のある製品で市場を獲得するしかなくなる。逆に、開発者はコストの削減と開発の加速を享受することができる。 さらに一歩進んで、アマゾンはPyTorchの上流開発に積極的に参加し、コミュニティと協力して、フレームワークと特定のチップを結びつけるコードを削除している。その目的は、PyTorchを全開発者群にとってより「ハードウェア非依存」なものにすることであり、Trainiumユーザーだけをサービスするものではない。
計算と争いが激しくなる中、アマゾンのこの一歩は自社のTrainiumに道を開くことであり、またオープンソースの緩和によってニューラビディアのエコシステムの独占を打ち破ることでもある。『チップの交換』が骨の折れる作業から変数の変更へと変わり、GPUの一極集中の構造に利用可能な裂け目が生じた。