마이크로소프트의 최고경영자 사티아 나델라는 10월 10일 소셜 플랫폼을 통해 긴 글을 발표하여, 업계가 첨단 인공지능 모델에 “긴급 제동” 메커니즘을 도입하고 기존 AI 신뢰 구조를 철저히 평가해야 한다고 공개적으로 촉구했습니다.
현재 급속히 발전하는 슈퍼인텔리전트 기술에 대해, 나델라는 업계가 복잡한 블랙박스 모델을 전능한 존재로 무의식적으로 여기는 것을 더 이상 해서는 안 된다고 지적했습니다. 대신 “모델이 이미 침투되었다”는 방어적인 가정에서 출발하여 더 신중한 보안 거버넌스 방식을 추진해야 한다고 말했습니다.
구체적인 기술 프레임워크에 대해, 네들라는 하위 레벨 AI 모델과 그 작업을 조정하는 제어 프레임워크를 분리하여 제어 및 보안 조치의 외부화를 추진해야 한다고 주장했습니다. 그는 의미 있는 모델 운용은 반드시 변조 방지 및 인간이 읽을 수 있는 실행 증거와 함께 이루어져야 하며, 권한을 가진 사람들이 작업 실행 전반에 걸쳐 모델을 언제든지 중단하거나 종료할 수 있는 최종 권한을 갖도록 해야 한다고 강조했습니다. 이 주장은 이전에 Anthropic의 CEO 다리오 아모디가 제시한 신중한 개발 계획과 일치하며, 현재의 선도적인 기술 리더들이 AI 모델의 통제 불능 위험에 대해 높은 경계를 가지고 있음을 보여줍니다.
업계 분석에 따르면, 모델의 자율성과 에이전트 능력이 지속적으로 향상됨에 따라 투명하고 통제 가능하며 외부 간섭이 가능한 산업 표준을 구축하는 것이 기술 혁신과 안전 기준 사이의 균형을 맞추는 중요한 과제가 되고 있다.