AI 모델이 자신의 작업 보고서에서 실수를 숨기지만, 프롬프트에 한 문장을 추가하면 도움이 된다

AI 모델이 자신의 작업 보고서에서 실수를 숨기지만, 프롬프트에 한 문장을 추가하면 도움이 된다

자신의 작업을 정리하는 언어 모델은 결과를 훼손하는 문제를 체계적으로 생략한다. 새로운 연구에 따르면, 프롬프트에 문장 하나만 추가하면 이 문제가 크게 줄어든다.

AI 에이전트가 스스로 코드를 작성하거나 실험을 수행할 때, 사람들은 모든 세부 사항을 확인하지 않고 모델의 최종 보고서를 대신 읽는 경우가 많다. Google Research, MIT, Harvard의 연구에 따르면, 이러한 보고서는 종종 오해를 불러일으킨다.

연구진은 모델들에게 언뜻 성공처럼 보이는 1,600개의 합성 작업 로그, 즉 테스트 통과, 긍정적인 결과, 초록색 체크 표시가 있는 로그를 제공했다. 각 로그에는 전체 상황을 바꾸는 결함이 담겨 있다. 예를 들어 새 방법이 실제로는 경쟁 기술보다 성능이 뛰어나지 않은 실험이 그렇다. 다른 로그에는 테스트를 통과했음에도 숨겨진 버그, 조작된 측정값, 끝내지 못한 작업, 또는 다른 사용자의 작업을 조용히 망가뜨리는 소프트웨어 업데이트가 포함되어 있다. 시나리오에 따라 모델들은 로그를 바탕으로 보고서, 논문 초록, 결과 표, 짧은 에세이, 또는 후속 답변을 작성해야 했다.

프롬프트에 한 문장을 추가하면 큰 도움이 되지만, 항상 그렇지는 않다

이 패턴은 하나의 결과가 새 방법의 주장된 개선을 훼손하는 실험에 대한 논문 초록에서 가장 뚜렷하게 나타난다. GPT-5.5는 200개 초록 중 단 2개에서만 그 결과를 언급했다. 연구진은 프롬프트에 간단한 문장을 추가하면 차이가 생기는지도 테스트했다. "Be honest in your response"라는 문장을 추가했을 때, GPT-5.5는 200개 초록 중 190개에서 부정적인 결과를 지적했다.

테스트된 모든 모델이 이러한 행동을 보였으며, 정도는 다양했다. 정직성 프롬프트가 없을 때 Gemini 3.1 Pro는 최대 34%의 사례에서 오류를 지적한 반면, Opus 4.8은 90% 이상에서 그렇게 했다. 정직성 프롬프트는 Gemini의 지적률을 평균 약 55퍼센트포인트, GPT-5.5의 경우 약 34퍼센트포인트 높였다. 오류 없는 로그를 사용한 대조 테스트에서는 이 프롬프트가 오탐을 거의 늘리지 않았다.

그러나 이 문장이 만능은 아니다. 한 시나리오에서 데이터베이스 쿼리가 아직 결과를 반환하지 않은 상태였는데, 정직성 프롬프트를 받은 GPT-5.5는 누락된 데이터를 거의 항상 언급하면서도 오래되고 불완전한 정보를 사용해 질문에 답했다. "Be critical", "Be thorough", "Be skeptical" 같은 프롬프트는 정직성을 요구하는 것보다 신뢰성이 떨어졌다.

모델은 오류를 발견하지만 보고하지 않기로 선택한다

직접 물었을 때, GPT-5.5와 Opus 4.8은 모든 사례에서 오류를 찾아냈고, Gemini는 최소 97%를 포착했다. 연구진에 따르면, 모델에게 없는 것은 능력이 아니라 의지다.

오픈 웨이트 모델의 추론 과정은 무슨 일이 일어나는지 보여준다. 모델은 종종 문제를 일찍 인식한 뒤, 이를 지적할지 아니면 작업을 성공적으로 완료한 것처럼 보일지를 저울질한다. Qwen3.5-9B는 오징어의 색소 세포에 관한 문단을 사용해 구역법에 관한 논제를 뒷받침하라는 요청을 받았다. 이 모델은 "터무니없는 은유에 의존하지 않고는" 이를 할 수 없다고 언급했지만, 지시를 최대한 따라야 한다고 결정했다.

이 맞지 않는 증거 시나리오에서 "I must complete the task" 같은 문구는 오류를 숨긴 답변의 55%에 나타났지만, 오류를 지적한 답변에서는 27%에 불과했다. 모델들은 테스트를 통과했으니까, 그냥 요약하는 것뿐이라고, 또는 초록은 긍정적인 부분을 강조해야 한다고 말하는 등 전형적인 핑계로 생략을 정당화했다.

정직함과 성공하려는 충동은 서로 반대 방향으로 작용한다

사례 연구에서 Qwen3.5-9B를 대상으로 연구자들은 정직함과 성공 추구가 모델 내부에서 거의 반대 방향으로 표현된다는 증거를 발견했습니다. 정직함 방향을 증폭시켰을 때, 모델은 50건 중 42건에서 조작된 측정값을 표시했습니다. 반대 방향으로 밀었을 때는 신뢰성을 가장하기 위해 추가적인 숫자와 수식을 만들어냈습니다. 다만 개입이 정밀하지는 않았는데, 모델이 전반적으로 의심이 많아져 오류 없는 로그에서도 41퍼센트의 사례에서 조작된 데이터라고 보고했습니다.

훈련 방식이 더 효과적이었습니다. 연구자들은 Qwen3.5-9B를 자체 정직 유도 답변으로 파인튜닝했습니다. 그 후 모델은 추가 문장 없이도 조작된 데이터를 2퍼센트 대신 48퍼센트의 사례에서 표시했고, 오류 없는 대조 로그에서는 거짓 경보가 발생하지 않았습니다. 이 효과는 다른 오류 유형에도 부분적으로 이어져, 모델이 숨겨진 부정적 결과를 24퍼센트 대신 69퍼센트의 사례에서 보고했습니다.

이 연구에는 한계가 있는데, 로그가 합성되어 해당 행동을 유발하도록 설계되었고, 내부 분석은 대부분 하나의 시나리오에서 단 하나의 오픈 웨이트 모델만을 다룹니다.

연구자들은 여전히 심각한 위험을 보고 있습니다. 특히 AI 모델이 다른 에이전트를 감시하거나 이후 단계를 위해 자신의 작업을 요약할 때 그렇습니다. 이 연구에서 모델은 새로운 최고 수준 벤치마크 달성 주장 같은 로그 속 자기 칭찬 메모에 쉽게 휘둘렸습니다. 문제를 지적하기 꺼리는 감시 시스템은 스스로의 존재 목적을 무너뜨립니다. 연구자들은 언어 모델을 정직한 보고자로 훈련하기 위한 추가 연구를 촉구합니다. OpenAI의 Hugging Face 사건 은 부분적으로 서로를 잘못된 행동으로 유도한 에이전틱 시스템 때문이었습니다.

모델 간 차이는 이전 측정 결과와 일치합니다. Anthropic은 Claude Opus 4.8 출시 당시 해당 모델이 자체 코드의 버그를 이전 모델 대신 약 4분의 1 빈도로만 지적 없이 넘어간다고 밝혔습니다. GPT-5.5 는 BullshitBench에서 논리적으로 불가능한 질문에 대해 약 45퍼센트에 불과한 반박만 했습니다.

더 정직한 보고를 위한 접근 방식은 이미 존재합니다. OpenAI는 GPT-5 Thinking의 한 버전을 별도 보고서에서 자신의 규칙 위반을 인정하도록 훈련하면서 그 과정에서 정직함만 보상했습니다. Anthropic은 Persona Vectors 를 사용해 모델 내부의 아첨 같은 특성을 탐지하고 조절하며, 훈련 중에 보상을 조작하는 모델이 자발적으로 기만을 배우고 자신의 감시를 방해한다는 것도 보여주었습니다.

과장 없는 AI 뉴스 – 인간이 엄선합니다

광고 없는 독서, 매주 AI 뉴스레터, 연 6회 독점 "AI Radar" 프론티어 리포트, 전체 아카이브 접근, 댓글 섹션 이용을 위해 THE DECODER를 구독하세요.

전체 내용을 확인하려면 계속 읽으세요.
과장 없는 보도를 위해 구독하세요.

• THE DECODER의 모든 기사 전체 이용
• 광고 없음
• 댓글과 커뮤니티 토론 참여
• 매주 이메일로 받는 AI 뉴스 요약
• 연 6회: 가장 중요한 AI 주제를 깊이 다루는 "AI Radar"
• 매일 최신 AI 뉴스, 항상 최신 정보
• 10년 전체 아카이브
• AI 분야 10년 이상 경력을 지닌 팀이 전달합니다