報道によると、OpenAIは今年少なくとも1つのモデルを出荷する見込みだが、その旗艦モデルには依然としてアライメント(整合性調整)の作業が必要とされている。

報道によると、OpenAIは今年少なくとも1つのモデルを出荷する予定だが、そのフラッグシップモデルには依然としてアラインメントの作業が必要とされている

OpenAIは、Astraと同じループ型トランスフォーマー技術を使用する次の主力モデルの完成を急いでいます。この手法は数学とコーディングの性能を向上させる一方で、安全性の監視をより難しくします。従業員によると、1つか2つの新しいモデルが年末までにリリースされる見込みだといいます。

従業員によると、OpenAIは年内に「1つか2つの新モデル」をリリースする可能性が高いが、同社が現在取り組んでいる「大規模なアップグレード版モデル」がその中に含まれるかどうかは明らかではない。これは以下によるものだ。 The Information、計画に詳しい関係者の話として伝えた。

新フラッグシップモデルはまだ先になる可能性がある。このモデルには必要だ 整列 OpenAIの研究者や顧客が期待する目標と一致するように機能させなければならない。同社はまた、前進する前にモデルを取り巻くテストインフラを強化する必要がある。

リーダーシップ層が安全性の評価に満足した後にも、もう一つのハードルがあります。ある トランプ大統領による大統領令 先進的なAIシステムの評価を管理するにあたり、OpenAIは、外部パートナーに提供する最大30日前の時点で米国政府に新モデルへのアクセスを認め、一般公開前にはさらに長い期間それを認めることで合意した。Ad

ループ型トランスフォーマーはAstraと次期フラッグシップの両方を支える

事情に詳しい人物によると、新しいフラッグシップモデルもループ型トランスフォーマーを使用しているという。OpenAIはすでにこの手法を本番環境で運用しており、そこでは「Recurrent Depth」と呼ばれている。 Astraの仕組みの中心にあるもの同社の現行トップモデルにおいて。トークンをトランスフォーマーの層に1回だけ通すのではなく、モデルは次の単語を出力する前に同じ層を複数回ループして通します。これにより数学やコーディングの性能が向上し、より小さなモデルがそのサイズ以上の力を発揮できるため、コストも削減されます。

しかしこのループ処理は、モデルの「思考」の一部を読み取り可能なテキストから、人間のレビュアーが検証できない内部の数値表現へと移してしまいます。それが損なうのは 思考の連鎖(Chain-of-Thought)モニタリング, 安全研究者がモデルの推論を追跡して悪質な挙動を突き止める作業だ。The Informationの報道によると、OpenAIは思考の連鎖を読みやすく保つため、Astraが実行するループの回数を意図的に制限した。

Hugging Faceの事件の後, OpenAIは総計算能力の約10パーセントをアライメントと安全に振り向けたと、事情に詳しい人物が明かしている。The Informationの報道によれば、これは数百メガワット相当のデータセンター容量にあたるが、以前は安全にどれほど割り当てられていたのか、あるいは現在の配分比率がどうなっているのかは不明である。市場レートで計算すると、OpenAIが振り向けた計算能力を賃借するには年間数十億ドルがかかる計算になる。 AI研究者のNoam Brownは9月中旬のポッドキャストで , 自分のチームの約10パーセントもセキュリティと安全に取り組んでいると語った。

Microsoft、OpenAIのループ型推論の仕組みを誤ってリーク

OpenAIが実際にこの手法をどう使っているのかは、Microsoftの失策によって明るみに出た。OpenAIの知的財産へのアクセス権を持つ大口出資者は、技術文書を GPT-6.1 Sol、OpenAIが今月初めに発表した、より安価なAstraの代替品である。Ad

削除されたセクションで、MicrosoftはGPT-6.1 Solについて「ルーピング推論」を使用すると説明していました。これは、モデルが回答を生成する前に同じ問題を複数の「パス」で処理するものです。The Informationは、ページのキャッシュコピーから引用する形で、GPT-6.1 Solは「3回ではなく2回の推論パスで、GPT-6 Solと同じベースモデルの重みを使用する」と伝えています。

直接の知識を持つ人物が、この説明がOpenAIが非公開でMicrosoftに伝えていた内容と一致することを確認しました。Microsoftは公開を意図したものではなかったと気づいた後、このセクションを削除しました。The Informationによると、ループトランスフォーマーは、トレーニング中と推論時の両方で、OpenAIのモデル開発における機密性の高い部分であり続けています。

OpenAIのチーフサイエンティストであるJakub Pachockiはすでに、 認めて おり、思考連鎖のモニタリングが「脆くなって」おり、「残念ながら悪い方向に向かっている」と述べています。彼はまた、読み取れる推論を持たないモデルへの業界全体の競争についても警告しました。

誇張なしのAIニュース – 人間によるキュレーション

THE DECODERを購読すると、広告のない閲覧、週次AIニュースレター、年6回の限定「AI Radar」フロンティアレポート、アーカイブへの完全アクセス、コメント欄へのアクセスが利用できます。