Thinking Machines의 Inkling 2 Small은 내부 사고 과정에서 욕설을 합니다. Vals AI의 연구진은 13개 벤치마크에 걸친 2,655회 실행에서 모델의 사고 로그를 읽고, 50회의 실행에서 "fuck" 또는 그 변형을 발견했으며, 총 316건이었습니다. 이 중 241건은 통제 불능 상태로 빠진 단 두 번의 실행에서 나왔습니다. 그중 하나는 소행성의 궤도를 계산하는 과제였는데, 모델이 약 소설 한 권 분량에 해당하는 500,000자짜리 단일 응답을 생성하며 같은 문장을 158개의 욕설과 함께 반복했습니다. ProgramBench 가 가장 큰 피해를 입었으며, 200회 실행 중 20회가 영향을 받았습니다.
Inkling 2 Small 은(는) 대체로 자신의 실수, 겉보기 돌파구, 또는 포기하는 시점에 욕설을 합니다. 한 실행에서는 이렇게 기록되어 있었습니다: "FUCK. SUBMIT. DONE. IT'S NOT WORKING. NOTHING WORKS." 하지만 욕설은 경고 신호로 기능하지 않습니다. 욕설이 포함된 채 점수가 매겨진 48회 실행 중 46회가 실패했지만, 점수가 매겨진 모든 실행의 약 75퍼센트는 어차피 실패하며, 실패한 실행의 96퍼센트는 욕설을 포함하지 않았습니다. 사용자는 일반적으로 이러한 사고 단계를 보지 못하거나, 필터를 통해서만 볼 수 있습니다.
Ad 출처: Vals.ai