OpenAIが リリースされた 世界屈指の難問とされる数学問題への数百件もの解答の主張を受けて今週、この最前線ラボは、〜を避けるため、エリート数学者からなる諮問委員会に相談したと明らかにした。 その論争 同社のモデルがこの分野の長年の問題を解決した前回の際に寄せられたものと同様の反響である。
しかしOpenAIはそうした基準を満たすことができませんでした。特に、数学的結果に対する人間の理解の必要性を数学者たちが強調した点でそうです。OpenAIのモデルが表向き解決したとされる1,000,000ドルの問題について、自然言語による解と形式的に表現された解との間のギャップを新しい論文が指摘したことを受け、これはとりわけ懸念されます。
高度研究大学院(Institute for Advanced Study)が主催する数学・人工 intelligence に関する諮問グループ(AGMAI)は、世界各国の研究機関に所属する9名の著名な研究者で構成されています。
その組織は公表した ガイドライン 9月末に最先端研究所が数学の問題を解いたことに対するものである。最新の一連の証明に関する声明の中で、AGMAIは「私たちの勧告がどの程度うまく守られたかを最終的に評価するのは数学界次第である」と述べた。
しかし、同組織の最初の要望は「独自モデルに対する高度な数学問題のテストをやめること」でした。OpenAIのリリースには、数学の公開研究問題を使って独自モデルを評価していると明記されています。
TechCrunchが、OpenAIの最新の実証リリースについてより詳細な評価を求めたところ、この諮問グループは回答しなかった。このラボは、結果をできるだけ早く公開することや、モデルがどのように結論に至ったかに関する情報を含めることなど、原則の一部を明確に守った。しかしすべてではなかった。719件の論文のうち、モデルの思考連鎖の公開を含んでいたのはわずか10件だった。
理解されていない論文について、数学者たちは証明を形式化すべきだと提案したが、OpenAIが公開した証明のうちこのプロセスを経ていなかったのはわずか42%だった。
結局のところ、OpenAIが証明を公開する際に、AGMAIの原則に従って「人間の理解が後からついてくることを確実にする責任」を負っているのかどうかは、依然として明らかではない。AGMAIは、OpenAIが同ラボの解を真に実質的な意味を持つものにするために必要となる人間の数学者たちの研究を支援する資金を出すべきだと提言していた。
「『一度初期の目標が「解決」されると、より広い分野そのものへの関心を持たないAIプロンプターによって、問題が自律的に解決されつつあり、彼らはAIの出力を結果についての質問に答えたり講演したり、あるいは分野の他の研究者と関わったりできるほどには理解していない』と、OpenAIの手法を批判してきた著名な数学者テレンス・タオ氏は述べた」 書きました リリース後、ソーシャルメディアで。
その問題は、次の事例で例証されている。 論文 ケンブリッジ大学とロンドン王立大学の数学者たちが今週発表したもので、最先端ラボがこれらの課題に取り組む方法に疑問を投げかけている。
AIモデルが数学の問題を解くとき、まず「自然言語」による説明を作成し、次にその結果を、コードとしてコンパイルすることで証明の正確性を理論上確認できるプログラミング言語Leanで表現しようとします。
ただし、モデルが自然言語の証明をコードへ変換する方法には問題がある可能性があります。本論文では、流体の複雑な挙動を記述するNavier-Stokes方程式から導かれた問題に対してOpenAIが提示した解の背後にある自然言語の証明とLeanコードとの間の少なくとも2つの不一致が記録されています。
これらの不一致は必ずしもどちらかの解法を否定するものではありませんが、人間の関与なしにモデル自身が自分の解法を形式化することを単純に信頼できるのかという疑問を投げかけます。だからこそAGMAIはOpenAIに対し、「自然言語と形式的成果物を関連付ける機械可読のメタデータを含めること」を求めましたが、このフロンティアラボは今回のリリースではそれを行いませんでした。
「誤訳の現象——本論文で指摘されているように——のため、OpenAIによる自然言語証明と
他の形式化されたLeanの証明も、同じピアレビューのプロセスを経なければ、一見したところでは信頼すべきではなく、
「翻訳で失われる」論文の著者らは、他の証明が受ける精査を受けている、と結論づけている。
数学者たちは、人間によって新しい成果が発見された場合、数学者はそれに対する責任を負い、論文、講演、セミナーを通じてより広いコミュニティと関わっていくと強調します。そのプロセスは解法への理解を深め、他の問題を解くのに使える戦略を見出し、新しい知識を実用分野に応用することを可能にします。
ハーバード大学数学教授のメラニー・ウッド氏はTechCrunchに対し、モデルに難問を解かせて解を出力させたとき、「リリース時点では人間によるそれらの理解はなく、これから作業が始まる」と述べました。
訂正:本記事は当初、プリンストン高等研究所(IAS)とプリンストン大学の関係を誤って報じていました。IASは同大学には所属していません。