Thinking Machines 的 Inkling 2 Small 在其内部思维链中说脏话。 Vals AI 的研究人员阅读了该模型在 13 项基准测试共 2,655 次运行中的思考日志,发现有 50 次运行中出现了 "fuck" 或其变体,总计 316 次。其中 241 次仅来自两次失控的运行。在其中一次运行中,该模型被要求计算一颗小行星的轨迹,结果产生了一条长达 500,000 字符的回复,大约相当于一部长篇小说的篇幅,重复着相同的句子,其中包含 158 句脏话。 ProgramBench 受影响最严重,200 次运行中有 20 次受到影响。
Inkling 2 Small 通常在骂自己的错误、看似的突破,或者在放弃时说脏话。有一次运行中写道:"FUCK. SUBMIT. DONE. IT'S NOT WORKING. NOTHING WORKS." 不过,粗口并不能作为警告信号。虽然 48 次有评分且含脏话的运行中有 46 次失败了,但所有有评分的运行中本来就有大约 75% 会失败,而且 96% 的失败运行中没有任何脏话。用户通常看不到这些思考步骤,或者只能看到经过过滤的版本。
Ad 来源: Vals.ai