IT之家 10月8日付報道、太平洋時間10月7日午前10時（北京時間10月8日午前1時）に米国サンフランシスコで開催された発表会において、マイクロソフトはGitHub Copilotが今月末までにローカルAIモデル推論をサポートすると発表した。開発者はクラウドモデルとデバイス上モデルの間を自動または手動で切り替えることができる。
GitHub Copilotはマイクロソフトが提供するAIプログラミングアシスタントで、Visual Studio CodeやCLIなどのツールに統合でき、コードのコンテキストに基づいて補完、説明、リファクタリングの提案を生成する。
GitHub Copilotは現在、クラウドホスト型モデルに依存しており、オーケストレーターが性能、コスト、正確性に応じてリクエストをルーティングしている。マイクロソフトは今月末にこの仕組みを拡張し、CopilotがクラウドモデルとローカルAIモデルを自動的に選択し、バックグラウンドで推論タスクを調整できるようにする予定だ。
マイクロソフトはGitHub Copilotユーザーに2つのモードを提供する：自動オーケストレーション、またはデバイス上モデルの強制使用である。ユーザーはGitHub Copilot CLI、Copilotアプリ、Visual Studio Codeで設定を行える。
ローカルモデルの選択では、プロバイダー、モデル、またはエンドポイントの指定がサポートされており、開発者はWindows ML経由でMAI Code 1.1 Flashを選択するか、OpenAI互換のローカルエンドポイントに接続してその公開されているモデルを利用できる。
マイクロソフトはMAI Code 1.1 Flash「Mixture of Experts（専門家混合）」モデルを発表した。総パラメータ1370億、アクティブパラメータ68億で、量子化と推測デコード技術を採用し、応答速度とメモリ使用量を最適化している。
このモデルはSurface Laptop Ultraでの実測において、複雑なタスクでのピークメモリ使用率、トークン利用率、処理速度のいずれも大幅に向上した。デコードスループットのテストでは、プロンプト長が2Kから256Kトークンの範囲で、スループットは毎秒40～63トークンの間だった。IT之家は関連画像を以下に添付する：
