OpenAI가 출시됨 세계에서 가장 어려운 수학 문제들에 대해 수백 개의 주장된 해법이 제출된 것과 관련해, 이 프런티어 연구소는 이번 주에 최정점 수학자들로 구성된 자문단과 상의하여 다음을 피했다고 밝혔다 그 논란 해당 분야의 오랜 미해결 문제를 자사 모델이 마지막으로 해결했을 때 함께 나왔던 것이다.
하지만 OpenAI는 이러한 기준에 미치지 못했습니다. 특히 수학자들이 수학적 결과에 대한 인간의 이해가 필요하다고 강조한 부분에서 그러했습니다. 이는 OpenAI의 모델이 표면적으로 해결한 것으로 알려진 백만 달러짜리 문제의 자연어 풀이와 형식적으로 표현된 풀이 사이의 차이를 지적한 새로운 논문이 발표된 후 더욱 우려되는 대목입니다.
프린스턴대학교 고등연구소가 주관하는 수학·인공지능 자문그룹은 전 세계 기관의 저명한 연구자 9인으로 구성되어 있다.
해당 단체는 발표했다 가이드라인 "9월 말 수학 문제를 푸는 최전선 연구소들을 대상으로 한 것입니다. 최근 증명 세트와 관련한 성명에서 AGMAI는 "우리 권고가 얼마나 성공적으로 따라졌는지를 평가하는 것은 궁극적으로 수학계의 몫"이라고 밝혔습니다."
그러나 해당 단체의 첫 번째 요청은 "독점 모델을 대상으로 한 고급 수학 문제 테스트를 중단하라"는 것이었습니다. OpenAI의 공개 자료는 자사의 독점 모델을 수학 분야의 공개된 연구 문제를 사용해 평가하고 있다고 명시하고 있습니다.
자문단은 TechCrunch가 OpenAI의 최근 증거 공개에 대한 보다 철저한 평가를 요청했을 때 응답하지 않았습니다. 이 연구소는 가능한 한 빨리 결과를 공개하고 모델이 어떻게 결론에 도달했는지에 대한 정보를 포함시키는 등 자문단의 원칙 중 일부를 명확히 따랐습니다. 그러나 모든 원칙을 따른 것은 아니었습니다. 719개의 원고 중 단 10개만이 모델의 사고 과정(chain of thought) 공개를 포함하고 있었습니다.
사람들이 이해하지 못하는 논문의 경우, 수학자들은 증명이 형식화되어야 한다고 제안했지만 OpenAI가 공개한 증명 중 단 42%만이 이 과정을 거치지 않은 상태였다.
궁극적으로, OpenAI가 AGMAI 원칙에 따라 증명을 공개할 때 "인간의 이해가 뒤따르도록 보장할 책임"을 지고 있는지는 여전히 명확하지 않다. AGMAI는 OpenAI가 연구소의 해답을 어떤 실질적인 의미로든 의미 있게 만드는 데 필요한 인간 수학자들의 연구 자금 지원을 도와야 한다고 제안했다.
"문제들은 초기 목표가 '해결'되고 나면 해당 분야 전체 자체에는 더 이상 관심이 없고, AI 결과물을 질문에 답하거나 강연을 하거나 그 밖에 분야의 다른 이들과 소통할 만큼 충분히 이해하지 못하는 AI 프롬프터들에 의해 자율적으로 해결되고 있습니다,"라고 OpenAI의 접근 방식을 비판해 온 저명한 수학자 테런스 타오(Terence Tao)가 말했습니다. 작성했다 공개 이후 소셜 미디어에서.
그 문제는 다음에서 잘 드러난다 논문 캠브리지 대학교와 런던 킹스 칼리지의 수학자들이 이번 주에 발표한 것으로, 프론티어 연구소들이 이러한 문제에 접근하는 방식에 의문을 제기합니다.
AI 모델이 수학 문제를 풀 때는 먼저 "자연어" 설명을 만든 다음, 그 결과를 코드로 컴파일하여 증명의 정확성을 이론상 확인할 수 있는 프로그래밍 언어인 Lean으로 표현하려고 시도합니다.
다만 모델이 자연어 증명을 코드로 번역하는 방식에 문제가 있을 수 있습니다. 이 논문은 유체의 복잡한 거동을 기술하는 Navier-Stokes 방정식에서 유도된 문제에 대해 OpenAI가 제시한 해법의 자연어 증명과 Lean 코드 사이에 최소 두 가지 불일치가 있음을 기록하고 있습니다.
이러한 불일치가 어느 한쪽 솔루션을 반드시 반박하는 것은 아니지만, 인간의 개입 없이 모델이 스스로 솔루션을 형식화하도록 단순히 의존할 수 있는지에 대한 의문을 제기합니다. 그것이 AGMAI가 OpenAI에게 "자연어와 형식적 산출물을 상호 연관시키는 기계 판독 가능한 메타데이터를 포함해 달라고" 요청한 이유 중 하나인데, 이 프론티어 연구소는 이번 릴리스에서 그렇게 하지 않았습니다.
“번역 오류 현상 때문에 — 이 논문에서 강조된 바와 같이 — OpenAI의 NL 증명과
다른 자동 형식화된 Lean 증명들은 다른 증명들에 적용되는 것과 동일한 동료 심사 절차와
검토 과정을 거치지 않은 채 우선 신뢰되어서는 안 된다”고 ‘lost in translation’ 논문의 저자들이 결론지었다.
수학자들은 인간이 새로운 결과를 발견할 때 그 결과에 대한 책임을 지며 논문, 강연, 세미나를 통해 더 넓은 학계와 소통한다고 강조한다. 이러한 과정은 해법에 대한 이해를 높이고, 다른 문제를 푸는 데 쓸 수 있는 전략을 찾아내며, 새로운 지식이 실용 분야에 적용될 수 있게 한다.
모델이 어려운 문제를 풀도록 요청받아 해답을 내놓을 때, “공개 시점에는 인간의 이해가 전혀 없으며, 이제부터 일이 시작된다”고 하버드대학교 수학 교수 Melanie Wood가 TechCrunch에 말했다.