Thinking MachinesのInkling 2 Small、ベンチマーク実行全体で316回のFワードを放つ

Thinking MachinesのInkling 2 Smallは、内部の思考連鎖の中で暴言を吐く。 Vals AIの研究者たちは、13のベンチマークにわたる2,655回の実行からモデルの思考ログを読み、そのうち50回の実行で「fuck」またはその変形を発見し、合計316回に上った。うち241回は、制御不能に陥ったわずか2回の実行によるものだった。1つは小惑星の軌道計算を課された実行で、モデルは約小説1冊分に相当する500,000文字の単一の応答を生成し、同じ文章を158回の罵倒言葉とともに繰り返した。 ProgramBench が最も被害が大きく、200回の実行のうち20回が影響を受けた。

Inkling 2 Small は、典型的には自分のミスや、一見したブレークスルー、あるいは諦めの際に暴言を吐く。ある実行ではこう記されていた。「FUCK. SUBMIT. DONE. IT'S NOT WORKING. NOTHING WORKS.」しかし、この暴言は警告サインとしては機能しない。暴言を吐いた48回の採点対象実行のうち46回が失敗したものの、採点対象の全実行の約75パーセントはもともと失敗しており、失敗した実行の96パーセントには罵倒言葉が含まれていなかった。ユーザーは通常、これらの思考ステップを見ることはないか、フィルターを通してのみ見ることができる。