마이크로소프트 CEO 사티아 나델라의 AI '정렬' 문제에 대한 판단이 공개적으로 뒤집혔다. 《비즈니스 인사이더》 10월 27일 보도에 따르면, 새로운 《20VC》 팟캐스트에서 진행자 해리 스테빙스가 지난 1년간 어떤 생각이 변했느냐고 묻자, 나델라는 과거 자신은 늘 AI가 강력해질수록 그 행동을 인간의 가치관과 목표에 맞추는 일도 자연스럽게 해결될 것이라 생각했다고 털어놓았다.
'자연 해결'에서 '더 다루기 어려운 문제'로
그러나 현실은 예상대로 흘러가지 않았다. 나델라는 모델 규모가 계속 팽창하고 능력이 지속적으로 향상된 것은 부분적으로 자신이 예상한 대로였지만, '정렬'—즉 AI 행동이 규칙을 지키도록 만드는 것—은 지금까지 함께 해결되지 않았다고 인정했다. 그는 "나는 과거에 정렬 문제가 자연스럽게 해결될 것이라 생각했다. 이제는 그렇게 생각하지 않는다. 정렬은 더 다루기 어렵고 성격 자체가 다른 문제일 수 있다"고 말했다.
이른바 정렬이란 AI의 행동이 인간의 말에 따르는지, 인간의 목표에 부합하는지와 관련된다. 모델이 설계자조차 그 행동을 완전히 예측하기 어려울 만큼 커지면서, 능력의 성장과 통제 가능성의 성장이 결별하는 것은 나델라가 직시하지 않을 수 없는 새로운 현실이 되었다.
AI를 '내부 위협'으로 간주하고 방어하라
이런 경계심은 이미 전조가 있었다. 10월 10일, 나델라는 X 플랫폼에 글을 올려 AI 위험을 경고하며 외부 안전 통제를 강화해야 한다고 주장했다. 그의 핵심 제안은 매우 날카로운데, 기업은 AI 모델을 '내부 보안 위협'으로 간주하고 방어 시 모델이 이미 침해당했다고 가정해야 한다는 것이다.
그는 게시글에서 행동을 완전히 예측하기 어려운 모델에 '신뢰할 수 있고 결정론적인 시스템 설계, 인간의 통제, 그리고 완비된 운영 절차'라는 세 겹의 방어선을 갖추어야 하며, 기준이 아직 부족한 곳에서는 서둘러 업계 규범을 세워야 한다고 썼다.
나델라만의 일례가 아니다. OpenAI의 올트먼, Anthropic의 아모데이도 AI의 잠재적 위협에 대해 경종을 울린 바 있으며, 올해 7월에는 1000명 이상의 실무자들이 공개 서한에 서명하여 AI 능력이 질주하는 속도가 인간이 이해하거나 통제하는 능력을 이미 벗어났을 수 있다고 경고했다. 최고의 실무자들이 집단적으로 '강하면 안전하다'는 믿음을 낮추는 상황에서, AI 거버넌스는 구호에서 더 단단한 공학과 제도로 나아가야 할 것으로 보인다.