4月のこのツイートを掘り起こすのは、LLM能力に関する共有された理解のこのギャップが*広がり続けている*からだ。今や「二つのグループがすれ違いながら話し合う」という状況から、鋭いじょうご(ファンネル)のような構造へと変わりつつある。
- 概算で約6B人(人口の約75%)はLLMにほとんど接触したことがない。
- 約1-2B人(約20%)は無料枠のChatGPT的な製品をたまに気軽に使う程度のユーザーだ。このグループは少し間の抜けたチャットボットを目にし、それを少し賢いGoogle検索や文章作成の補助などとして扱う。エージェントがフライトの予約を試みることもあるかもしれない。私の非テック系の友人の中には、(私見ではもっともだが)自分にはあまり使い道がないと言う人もいる。math&code以外の専門家の多くもこの層にいる。例えば、経営幹部やその他多くの職能の人々は時間の多くを他人との対話に費やすため、何が起きているかを頭では理解していても、それはあくまで二次情報で、やや抽象的なものにとどまる。
- 次に、math&codeにおける最先端グレードのLLMのプロフェッショナルな利用に入る。約20M人(0.2%)の人々が、以前なら数週間/数か月かかっていた大規模で複雑なプロジェクトを、エージェントがプロンプト一つで完遂できることを自ら目にしている。アプリの構築、アプリのコピー、アプリの翻訳、バイナリからのアプリの逆コンパイル… これはすべて非常に最近、急速に起きたことだ。1年未満前、私はまだコードを手作業で書き、暗記したコンピュータのコマンドをコードエディタに一文字ずつ打ち込み、時々Tabを押して小さなコードの塊を自動補完していた。
- そして最後に、社内で最先端グレードのシステムにアクセスできる約5,000人(約0.00006%)の人々がいる。外部の世界が見たのはプレビューにすぎない。それは、数千のエージェントの群れが数週間にわたってソフトウェアの巨大プロジェクトで協力する様子に見える。ゼロデイの採掘、マシンスピードでのサイバー攻撃と防御、新しい科学の発見、数学のフロンティアの前進。業界のトッププロフェッショナルが何年もかけていたであろう仕事だ。その一方で、人間によるレビューと理解は追いつかなくなりつつある。例えば、人々は数か月前のOpenAI-HFインシデントの「考古学」にまだ関わっている。数学者たちは、フロンティア数学に関する722の論文をしばらくの間調べ続けるかもしれない。
段落一つぶんの回答になる質問では、システムにほとんど負荷がかからない。本当に気にかけている大きな、難しい問題の貯蔵庫が必要だ。
このじょうご(ファンネル)は、複数の要因の組み合わせによって生み出されている:
1. 影響は野心、問題の規模、そして期間に比例して拡大する。段落一つぶんの回答になる質問では、システムにほとんど負荷がかからない。本当に気にかけている大きな、難しい問題の貯蔵庫が必要だ。この側面が、じょうごのコンシューマー/プロフェッショナルという次元を推し進めている。
2. システムのギザギザした性質(これについては別のところで何度も書いてきた)。能力は、デジタル的で、検証可能で、経済的価値のある領域でピークに達する。これは、LLMの能力が、収益 potential によって駆動される厳選された環境の混合における検証可能な報酬を使った強化学習から生まれるためだ。この側面が主に、じょうごの領域(例えば math&code)という次元を推し進めている。
3. アクセス。無料枠、有料枠、社内。
だからこれが、この瞬間の奇妙さだ。一般の人々は大部分、これらのシステムと接触したことがない。接触したとしても、それは少し間の抜けたチャットボットに見える。プロフェッショナルの大多数はいまだにささやかな向上しか見ていない。そして少数のプロフェッショナルが、急上昇して垂直になる曲線のめまいを経験している。しかも、それはすべて同時に起きている。