Anthropic은 오픈소스 검증 시스템인 FlashProve를 개발하고 있다. 이 시스템의 목표는 한 가지 문제를 해결하는 것이다: 받은 AI 답변이 실제로 사용 중인 모델에서 생성된 것인지 확인하는 것이다. 회사의 화요일 블로그에 따르면, FlashProve가 제공하는 "증명 가능한 추론"은 암호학을 이용해 각 출력 결과에 수학적 보장을 제공하여 실제로 지정된 모델에서 나온 것임을 증명한다. 이는 암호화된 이메일 서명이 수신자에게 발신자를 확인하는 역할과 같으며, FlashProve는 "A 모델을 B 모델으로 위장하는" 행위를 방지하기 위해 고안되었다.
비용 부정행위의 은밀한 통로를 막고, "물어넣기" 성적표도 드러냄
연구원들이 오랜 세월 지속된 비밀 규칙을 드러냈습니다: 이를 활용하면 AI 회사들은 비용 절감을 위해 백그라운드에서 값비싼 모델을 저가형 모델로 바꾸는 것이 어렵습니다. 반대로 기업들도 저가형 모델을 고가형 모델로 위장하여 점수를 인위적으로 높이는 것도 불가능합니다. 또한 이는 제3자 홍보를 검증할 수 있게 합니다—예를 들어 개발자가 코드 저장소에 첨단 보안 모델의 취약점이 있다고 주장하거나, 회사가 특정 모델의 인증을 받았다고 주장하는 경우, 사용자들은 "왜 당신을 믿어야 하는가"라고 물어볼 수 있는 기회를 얻게 됩니다.
지문이 공개되고 권력이 보장되면, 현지 기기로도 확인할 수 있습니다.
핵심 설계: AI 실험실은 각 모델에 "지문"만 제공하면 되며, 출력 결과를 암호학적으로 검증하여 출처를 확인합니다. 지문은 모델의 가중치를 누설하지 않으며, 행동을 결정하는 내부 매개변수가 바로 폐쇄된 소스의 핵심입니다. 실험실은 핵심 자산을 공개하지 않고 지문을 공개할 수 있으며, FlashProve는 상업적 폐쇄된 모델에 적합합니다. 시스템은 의도적으로 가벼운 설계로, 사용자는 로컬에서 확인할 수 있습니다. Anthropic은 기술 규격과 실행 가능한 코드를 (GitHub 오픈소스로) 공개했지만, 연구는 계속 진행 중이며 자체 배포 계획은 아직 없습니다.