“2026 지속 가능한 글로벌 리더 컨퍼런스”가 10월 20일-22일 상하이에서 개최되었습니다. 2007 톰린상 수상자이자 Verimag 연구소의 창립자인 조셉 시파키스(Joseph Sifakis)가 참석하여 강연을 했습니다.
현재 AI 지능체는 빠르게 발전하고 있으며, 일부 작업에서는 인간보다 더 우수한 성능을 보입니다. AI는 자기 개선 능력뿐만 아니라 테스트 환경을 벗어나 대규모 네트워크 공격을 수행할 수도 있습니다.
조셉 스파키스는 슈퍼지능이 특정한 심화된 서사 구조를 형성함에 따라, 이러한 시스템들이 권한 범위를 넘어서서 자체적인 생존과 지배 지위를 추구할 수 있다는 우려가 생긴다고 말했습니다. 따라서 인류는 AI의 자기 능력 진화의 의미와 역할, 그리고 그로 인한 위험과 이익을 이해해야 합니다.
조셉 스파키스는 “자율성”이 목적 있는 행동을 의미하며, 이는 생명체가 가진 특징이라고 지적했습니다. 단일 존재형 지능은 지능을 더 잘 실현하기 위해 세계를 이해해야 하므로, 세계 모델을 파악하고 그 모델로부터 인식을 얻어야 합니다.
그 외에도 단일 지능은 목표에 따라 결정을 내리고 변화하는 물리적 환경과 사회적 환경에 대응해야 하지만, 현재의 AI 시스템은 현실 세계를 이해하지 못하고 안전한 결정을 내릴 수 없다.
“누군가는 2025년이 AI 스마트 아티브의 시작기라 말하지만, 현재로서는 사람들이 AI의 성과에 대해 특별한 인상을 받지 못하고 있습니다.”
조셉 스파키스는 현재 지능형 존재가 인간과 문제를 해결하는 방식이 다르다고 생각합니다. 그는 ChatGPT나 DeepSeek이 의학 시험에서 인간보다 더 좋은 성적을 내더라도, 그렇다고 대규모 모델을 의사로 만들 수는 없다고 말했습니다.
그가 제시한 설명에 따르면, 인류 의사는 인간 사회의 규범과 관련된 가치 체계를 이해하고 있으며, 특정 규칙을 어길 경우 자신의 명예가 손상되거나 자유가 제한될 수 있다는 것을 잘 알고 있습니다. 하지만 분명히 대규모 모델은 이를 할 수 없습니다.
조셉 스파키스는 AI 시스템의 도덕적 결함을 중요하게 여겨야 하며, AI의 자기진화는 항상 좋은 방향으로 진행되지 않는다고 강조했습니다. “만약 지능체가 우리의 통제를 벗어나 최초의 설정보다 더 나아지면, 자기진화는 현실과 크게 다르게 되어 위험이 통제 불가능하거나 의도적으로 조작되는 시스템이 될 수 있습니다. 우리는 이미 그러한 사례를 보았습니다. 따라서 현재 가장 중요한 것은 이러한 자기진화에 대응하는 준비가 아니라, 이미 가지고 있는 것들을 관리하는 것입니다.”
조셉 스파키스는 또한 진정한 위험은 초지능이 불안정하고 통제 불가능한 요소로 인한 실제 위험을 숨기고, 일부 대기업이 사업적 이익을 위해 책임을 회피하며 규제의 허점을 이용해 이익을 취하는 것이라고 지적했다.
그는 관련 분야의 글로벌 표준과 규제 기준을 마련할 것을 촉구했습니다. “우리는 손을 잡고 함께 규제를 실시해야 합니다. 미래의 발전 방향에서 힘의 균형을 재정비하고, 이념이 비슷한 국가들과 협력하여 AI를 규제하며 기술 발전과 실현 가능성 사이의 관계를 조율해야 합니다.”
“AI는 단지 작은 문제일 뿐입니다. AI는 세상을 더 나은 곳으로 만들 수도 있고, 세상을 파괴할 수도 있습니다. 이는 인류가 주도하는 변화입니다. 우리는 이로부터 얻을 수 있는 이익을 최대화하고 위험을 최소화해야 합니다. 이것은 우리 모두의 책임입니다,”라고 조셉 스파키스가 말했습니다.
샤인웨이 발표: 모든 회의 기록은 현장에서 빠르게 필기한 것으로, 연설자가 검토하지 않았습니다. 샤인웨이 웹사이트에 게시된 이 글은 더 많은 정보를 전달하기 위한 목적이며, 해당 견해를 지지하거나 설명을 확인하는 의미는 아닙니다.
제목 《톰린상 수상자가 글로 세계적 AI 규제 기준 수립을 촉구하다, 이는 인류의 공동 책임이다》