AIbase更新日

グーグルのエンジニア:AIが生産コードの75%超を記述、自律的な研究加速には明確な証拠はまだない

グーグルのエンジニア、ベルフィールド氏は、モデル開発におけるAIによる自動化は継続的に向上しているものの、AIが自律的に研究を推進し加速しているという証拠はまだないと述べています。現在、生産コードの75%超をAIが記述していますが、約88%のコード変更には依然として人間の監督またはレビューが必要で、提出前にすべて人間による審査を受けています。AIのみで処理される変更の割合は7.5%から11.9%に上昇しました。この中では、Argonの内…

グーグルのエンジニア、ヘイデン・ベルフィールド(Haydn Belfield)氏は、モデル開発におけるAIの自動化の程度は継続的に向上しているものの、現時点では、AIが自律的に推進する研究が加速しているという測定可能な証拠はまだないと述べています。

ベルフィールド氏は、現在、生産コードの75%超がAIによって記述されているものの、約88%のコード変更には依然として人間の監督またはレビューが必要であり、すべての変更が提出前に人間による審査を受けなければならないと指摘しています。AIのみに委ねられたコード変更の割合は7.5%から11.9%に上昇しました。Argonの内部エージェント実行テスト1389回では、タスクの複雑さが高いほど、人間の介入なしでのAIの成功率は低くなりました。

DeepMindの上級研究者12人に対する調査でも、AIは明確に定義され結果が検証可能なタスクでは自動化の程度が高いものの、創造的な研究、実験設計、学習異常の診断、長期計画の面では依然として人間に依存していることが示されました。

実際の機械学習エンジニアリングタスク74件を含むRE-Benchベンチマークでは、Argonのタスク解決率は約50%で、Gemini 3.7 Flashの27%を上回りましたが、完全な自動化の実現には依然として隔たりがあります。

AI能力の変化を追跡するため、研究チームは123のモデルと92のベンチマークテストを網羅する汎用能力指数(GCI)を構築した。データによると、Geminiモデルの能力は毎月約0. 1GCIポイントの速度で安定して増加しており、統計的に有意な加速の兆候はまだ見られない。チームは、Gemini 4 Argonの成長トレンドラインをやや上回るパフォーマンスについて、主に計算資源と組織的投入の増加によるものであり、AI自身が推進する研究開発の加速によるものではないと考えている。

現在、研究チームは、AIが推進する研究の自動化がもたらすリスクは依然として相対的に限られていると見ていますが、監視体制の整備を継続しています。一方、ジェフリー・ヒントン、ヨシュア・ベンジオ、OpenAIのチーフサイエンティストのヤクブ・パチョッキら20人以上の研究者は、AIが今後数年内に研究開発業務を高度に自動化し、数年分の進歩を数か月に圧縮する可能性があると警告しています。こうした判断の相違は、AIの自己改善能力とその潜在的リスクには依然として大きな不確実性があることを浮き彫りにしています。


原文の出典

AIbase

内容について

原文の公開と権利は出典元に帰属します。

機械翻訳 · 原文をご参照ください