OpenAI가 올해 최소 한 개 이상의 모델을 출시할 것으로 알려졌지만, 플래그십 모델은 여전히 정렬 작업이 필요한 상태다

OpenAI가 올해 최소 한 개 이상의 모델을 출시할 것으로 알려졌지만, 그 플래그십 모델은 여전히 정렬 작업이 필요하다.

OpenAI는 Astra와 동일한 루프드 트랜스포머(looped transformer) 기법을 사용하는 차세대 플래그십 모델 완성을 서두르고 있습니다. 이 접근 방식은 수학 및 코딩 성능을 높이지만 안전 모니터링을 더 어렵게 만듭니다. 직원들은 연말까지 신규 모델 한두 개가 출시될 가능성이 높다고 말합니다.

직원들에 따르면 OpenAI는 연말 전에 "한두 개의 새로운 모델"을 출시할 가능성이 높지만, 회사가 현재 개발 중인 "주요 업그레이드 모델"이 여기에 포함될지는 불분명하다. 이는 다음에 따른 것이다. 더 인포메이션, 해당 프로젝트에 익숙한 사람들을 인용하며 전했다.

새 플래그십은 아직 시간이 더 필요할 수 있다. 이 모델은 필요로 한다 정렬 모델이 작동하도록 만들어 OpenAI의 연구자들과 고객이 기대하는 목표와 일치하도록 해야 합니다. 회사는 또한 앞으로 나아가기 전에 모델을 둘러싼 테스트 인프라를 강화해야 합니다.

리더십이 안전 평가에 만족한 후에도 또 다른 장벽이 있습니다. 그 아래에는 트럼프 대통령의 행정명령 고급 AI 시스템에 대한 평가를 규율하는 것과 관련하여, OpenAI는 새 모델이 외부 파트너에게 제공되기 최대 30일 전, 그리고 공개 출시 전에는 더 오랜 기간 전에 미국 정부가 접근할 수 있도록 합의했습니다.Ad

Looped 트랜스포머는 Astra와 차기 플래그십 모델 모두를 구동합니다

사정에 정통한 한 인사에 따르면 이번 신형 플래그십 모델도 루프드 트랜스포머(looped transformers)를 사용합니다. OpenAI는 이미 이 기법을 "Recurrent Depth"라는 이름으로 실제 서비스에 운용하고 있는데, 이는 사실 Astra의 작동 방식의 핵심입니다회사의 현재 최상위 모델입니다. 토큰을 트랜스포머 레이어를 한 번 통과시키는 대신, 모델은 다음 단어를 출력하기 전에 동일한 레이어를 여러 번 반복해서 통과시킵니다. 이는 수학과 코딩 성능을 끌어올리고 비용을 낮추는데, 더 작은 모델이 자신의 몸집 이상의 성능을 낼 수 있기 때문입니다.

그러나 이러한 루핑은 모델의 "사고" 중 일부를 사람이 검토할 수 있는 읽을 수 있는 텍스트에서 사람 검토자가 들여다볼 수 없는 내부 수치 표현으로 옮기기도 합니다. 이는 ~을 훼손합니다 사고 과정(chain-of-thought) 모니터링, 안전 연구자들이 모델의 추론을 추적해 나쁜 행동을 발견하는 곳이 바로 그곳이다. The Information에 따르면 OpenAI는 사고의 연쇄를 읽기 쉽게 유지하기 위해 Astra가 실행하는 루프 수를 의도적으로 제한했다.

Hugging Face 사건 이후, OpenAI는 익명의 관계자에 따르면 전체 컴퓨트의 약 10퍼센트를 정렬 및 안전 쪽으로 이동시켰다. The Information은 이것이 수백 메가와트 규모의 데이터 센터 용량에 해당한다고 보도했으며, 이전에 안전에 얼마나 배분되었는지 또는 현재의 배분 비율이 어떤지는 불분명하다. 시장 가격으로 볼 때 OpenAI가 이동시킨 컴퓨트를 임대하려면 연간 수십억 달러가 들 것이다. AI 연구자 Noam Brown은 9월 중순 팟캐스트에서 자신의 팀원 중 약 10퍼센트도 보안과 안전 업무를 담당한다고 말했다.

Microsoft가 OpenAI의 루프드 추론 작동 방식을 실수로 유출하다

OpenAI가 이 기술을 실제로 어떻게 사용하는지는 Microsoft의 실수를 통해 알려졌다. OpenAI의 지적 재산권에 접근할 수 있는 주요 투자자인 Microsoft는 다음과 같은 기술 문서를 게시했다: GPT-6.1 Sol, 즉 OpenAI가 이번 달 초에 출시한 더 저렴한 Astra 대안 제품입니다.Ad

삭제된 섹션에서 마이크로소프트는 GPT-6.1 Sol이 '루핑 추론(looping inference)'을 사용한다고 설명했으며, 이는 모델이 답을 산출하기 전에 동일한 문제를 여러 '패스(pass)'에 걸쳐 처리하는 방식입니다. The Information은 페이지의 캐시된 사본을 인용해 GPT-6.1 Sol이 "세 번 대신 두 번의 추론 패스로 GPT-6 Sol과 동일한 기반 모델 가중치를 사용한다"고 밝혔다.

직접적인 정보를 가진 한 인사는 이 글이 OpenAI가 마이크로소프트에 비공개로 알린 내용과 일치한다고 확인했습니다. 마이크로소프트는 해당 섹션이 공개될 의도가 아니었음을 깨닫고 이를 내렸습니다. The Information에 따르면, 루프드 트랜스포머(looped transformers)는 훈련 시와 추론 시 모두 OpenAI의 모델 개발에서 여전히 민감한 부분입니다.

OpenAI 최고 과학자 야쿠브 파호츠키(Jakub Pachocki)는 이미 인정한 바 있듯이, 사고연쇄(chain-of-thought) 모니터링은 '취약해지고 있으며 안타깝게도 부정적인 방향으로 흐르고 있다.' 그는 또한 읽을 수 있는 추론이 없는 모델을 향한 업계 전반의 경쟁을 경계했습니다.

과장 없는 AI 뉴스 – 사람이 직접 큐레이션

광고 없는 읽기, 주간 AI 뉴스레터, 연 6회 독점 'AI Radar' 프론티어 리포트, 전체 아카이브 접근, 댓글 섹션 이용을 위해 THE DECODER를 구독하세요.