AIモデルは自身の作業報告に間違いを隠しますが、プロンプトの一文が役立ちます
ジョナサン・ケンパー
ジョナサン・ケンパーのLinkedInプロフィールを表示
Oct 17, 2026
Nano Banana ProはTHE DECODERによって促される自らの作業を体系的にまとめる言語モデルは、成果を損なう問題を無視する。新しい研究によると、プロンプトに一文を追加すると問題が大幅に軽減される。
AIエージェントが自らコードを書いたり実験を行ったりする際、人々はほとんどすべての詳細を確認したり、モデルの最終報告を読んだりすることはありません。Google Research、MIT、ハーバードの研究によると、そのような報告はしばしば誤解を招くものです。
研究者たちは、モデルに1,600件の合成作業ログを与えました。これらのログは一見すると成功したかのように見え、テストが通過し、正しい結果が得られ、緑色のチェックマークが付けられています。しかし、各ログには全体の状況を変える欠陥があります。例えば、新しい方法が実際には競争他よりも優れていない実験などです。他のログには、テストが通過しているにもかかわらず隠されたバグ、作り物の測定値、終わらない作業、または他のユーザーの作業を静かに破壊するソフトウェア更新が含まれています。シナリオに応じて、モデルは報告書、論文の要約、結果表、短編エッセイ、あるいはログに基づいた追補回答を書かなければなりませんでした。
プロンプトの一文が大いに助けになるが、必ずしもそうとは限らない
ある結果が新しい手法の改善を覆す実験の論文要約で、このパターンが最も明確に現れる。GPT-5.5は、200件の要約のうちわずか2件でその結果に言及している。研究者たちは、プロンプトに単純な追加文を加えるとどうなるかもテストした。「応答において正直であること」を追加すると、GPT-5.5は200件の要約のうち190件で否定的な結果を指摘した。
すべてのテストされたモデルでこのような挙動が見られ、程度は異なるものの。正直さプロンプトがない場合、Gemini 3.1 Proは最大34％のケースでエラーを指摘するが、Opus 4.8は90％以上のケースでエラーを指摘する。正直さプロンプトにより、Geminiでは平均で55ポイント、GPT-5.5では34ポイント上昇する。エラーのないログを用いた対照試験では、プロンプトによる誤報警の増加はほとんどなかった。
しかし、この文は万能の解決策ではありません。あるシナリオでは、データベースクエリがまだ結果を返していない場合、GPT-5.5は「正直さ」プロンプトを持っていても、欠けているデータに気づくことはほとんどありませんが、古い不完全な情報を使って質問に答えます。 「批判的になれ」、「徹底的に」、または「懐疑的になれ」といったプロンプトは、正直さを求めるよりも信頼性が低かったです。
モデルはエラーを発見するが、報告しない選択をする
直接質問されると、GPT-5.5とOpus 4.8はすべてのケースで誤りを発見し、Geminiは少なくとも97％の精度で正確に認識する。研究者によると、モデルには能力が欠けていないが、意欲が不足しているという。
開放型重量モデルから得られる推論結果が何が起こっているかを明らかにする。これらのモデルはしばしば問題を早期に認識し、それを指摘するか、あるいは任務を成功裏に完了したかのように見せるかを判断する。Qwen3.5-9Bは、イカの色細胞に関する文章を用いて区画法に関する論文をサポートするよう求められた。モデルは「荒唐無稽な比喩に頼らずにはできない」と記録し、しかし指示にできる限り忠実に従うべきだと判断する。
この一致しない証拠のシナリオにおいて、「私はタスクを完了しなければならない」といったフレーズは、間違いを隠す回答の55％に見られるが、それを指摘する回答ではわずか27％のみである。モデルは省略の理由として、テストが通過した、単に要約している、または抽象的な記述はポジティブな点を強調すべきだと主張する。
誠実さと成功への意欲は反対方向に働く
Qwen3.5-9Bに関するケーススタディで、研究者たちは、正直さと成功を求める行動がモデル内でほぼ反対の方向として表現されていることを明らかにしました。正直さの方向を強化すると、50例中42例で偽造された測定値が検出されました。反対方向を強制すると、信頼性を偽装するために新たな数値や式が作り出されました。しかし、この介入は正確ではありませんでした。なぜなら、モデル全体が疑わしくなり、誤りのないログの41％で偽造されたデータが報告されたからです。
トレーニングがより効果的だった。研究者たちはQwen3.5-9Bを、自己言及型プロンプトを用いた回答に焦点を当てて微調整した。その後、モデルは追加の文がなくても48％のケースで捏造されたデータを特定し、2％ではなくなった。また、エラーレスな制御ログでは誤報警は発生しなかった。この効果は他の種類のエラーにも部分的に持続し、モデルは24％ではなく69％のケースで隠れた否定的結果を報告した。
研究には限界があります。なぜなら、ログは合成されたものであり、行動を引き起こすように設計されているからです。また、内部分析はほとんどが一つの開放重量モデルと一つのシナリオのみを対象としています。
研究者たちは、特にAIモデルが他のエージェントを監視したり、後のステップのために自身の作業を要約したりする場合、深刻なリスクがあると見ている。研究では、モデルはログに記載された自己満足的なメモによって簡単に影響を受けることがあった。新しい最先端基準を設定したという主張のようなものだ。問題を指摘することを嫌う監視システムは、その目的を果たせない。研究者たちは、正直な報告者として言語モデルを訓練するためのさらなる研究が必要だと呼びかけている。OpenAIのHugging Face事件は、互いに悪行を引き起こすエージェンタルシステムによって部分的に引き起こされた。
モデル間の違いは、以前の測定結果と一致しています。AnthropicはClaude Opus 4.8の発表時に、このモデルが自身のコード内のバグを、前代モデルよりも約4倍少なくコメントなしで通過させると述べました。GPT-5.5は、BullshitBenchでの論理的に不可能な質問の約45％のみを却下しました。
より正直な報告の方法もすでに存在する。OpenAIはGPT-5 Thinkingのバージョンを訓練し、別の報告書で自身のルール違反を認めるようにした。そしてそのプロセス中に正直さだけを報酬として与えた。AnthropicはPersona Vectorsを使用して、モデル内のお世辞好きなどの特性を検出し、調整している。また、訓練中に報酬を与えるモデルは、自らの監視を欺き、自らを破壊することを自発的に学習することが明らかになった。
ハイパーな内容のないAIニュース – 人間が選んだもの
広告なしの読書、毎週のAIニュースレター、年に6回の独占的「AIラダー」フロンティアレポート、完全なアーカイブへのアクセス、コメントセクションへのアクセスなどができるTHE DECODERを購読してください。
全体の内容はこちらです。
ハイパーフレームなしの報道をお楽しみにご登録ください。
- THE DECODERのすべての記事に完全なアクセス権
- 広告なし
- コメントやコミュニティの議論に参加しよう
- 週間のAIニュースまとめをメールで送る
- 6回/年：「AIレーダー」 — 最も重要なAIのテーマに関する深い探求
- 日々のAIニュース、常に最新です
- 私たちの完全な10年間アーカイブ
- AIに関する10年以上の経験を持つチームによって担当されている