Ich staube diesen Tweet von April ab, weil diese Lücke im gemeinsamen Verständnis der LLM-Fähigkeiten *größer wird*. Es ist inzwischen weniger „zwei Gruppen von Leuten, die aneinander vorbeireden“ und mehr ein scharfer Trichter.
- Grobe Überschlagsrechnung: irgendwo um die 6 Mrd. Menschen (~75 % der Bevölkerung) sind kaum überhaupt mit LLMs in Kontakt gekommen.
- Etwa 1-2 Mrd. (~20 %) sind gelegentliche und unregelmäßige Nutzer von Gratis-Angeboten im Stil von ChatGPT. Diese Gruppe sieht tölpelhafte Chatbots und behandelt sie ein bisschen wie eine bessere Google-Suche, ein Schreibhilfsmittel oder Ähnliches. Vielleicht versucht mal ein Agent, für einen einen Flug zu buchen. Ich habe nicht-technische Freunde, die (vernünftigerweise, wie ich finde) sagen, dass sie dafür überhaupt kaum Verwendung haben. Sogar viele Fachleute außerhalb von Mathematik&Code fallen in diese Stufe. Zum Beispiel verbringen Führungskräfte und viele andere Funktionen einen Großteil ihrer Zeit damit, mit anderen Menschen zu sprechen; deshalb verstehen sie zwar intellektuell, was geschieht, aber es bleibt doch aus zweiter Hand und etwas abstrakt.
- Jetzt kommen wir zum beruflichen Einsatz von LLMs an der Frontier in Mathematik&Code. Irgendwo um die 20 Mio. Menschen (0.2 %) sehen aus erster Hand, dass große, komplexe Projekte, die früher Wochen/Monate dauerten, heute von Agenten mit einem Prompt erledigt werden können. Apps bauen, Apps kopieren, Apps übersetzen, Apps aus Binärdateien dekompilieren … All das ist sehr schnell und erst kürzlich passiert – vor weniger als 1 Jahr habe ich Code noch von Hand geschrieben, auswendig gelernte Computerbefehle Zeichen für Zeichen in einen Code-Editor getippt und gelegentlich Tab gedrückt, um ein kleines Stück Code automatisch zu vervollständigen.
- Und schließlich kommen wir zu den ~5,000 Menschen (~0.00006 %) mit internem Zugriff auf Systeme auf Frontier-Niveau. Die Außenwelt hat die Vorschau gesehen. Es sieht aus wie Schwärme von Tausenden Agenten, die über Wochen an Software-Megaprojekten zusammenarbeiten: Zero-Days prägen, Cyberangriffe und -verteidigung mit Maschinengeschwindigkeit ausführen, neue Wissenschaft entdecken, die Grenzen der Mathematik vorantreiben. Dinge, die führende Fachleute der Branche Jahre an Arbeit gekostet hätten. Unterdessen beginnt die menschliche Überprüfung und das Verständnis hinterherzuhinken. Zum Beispiel sind Menschen immer noch mit der "Archäologie" des OpenAI-HF-Vorfalls von vor vielen Monaten beschäftigt. Mathematiker könnten eine Weile damit beschäftigt sein, die 722 Manuskripte zur mathematischen Grenzforschung durchzuarbeiten.
Eine Frage mit einer Antwort in Absatzlänge belastet das System kaum. Du brauchst einen Vorrat an großen, schwierigen Problemen, die dir wirklich wichtig sind.
Der Trichter wird durch eine Kombination von Faktoren angetrieben:
1. Die Wirkung skaliert mit Ambition, Problemgröße und Zeithorizont. Eine Frage mit einer Antwort in Absatzlänge belastet das System kaum. Du brauchst einen Vorrat an großen, schwierigen Problemen, die dir wirklich wichtig sind. Dieser Aspekt treibt die Konsumenten-/Professionellen-Dimension des Trichters an.
2. Die Zackigkeit des Systems (worüber ich separat schon viel geschrieben habe). Die Fähigkeitsgipfel liegen in Domänen, die digital, überprüfbar und ökonomisch wertvoll sind. Das liegt daran, dass LLM-Fähigkeiten aus bestärkendem Lernen mit überprüfbaren Belohnungen auf einer kuratierten Umgebungsmischung entstehen, die durch Umsatzpotenzial getrieben wird. Dieser Aspekt treibt vor allem die Bereichsdimension (z. B. Mathe&Code) des Trichters an.
3. Zugang. Gratis-Stufe, Bezahl-Stufe, intern.
Das ist also die Seltsamkeit dieses Moments. Die Allgemeinheit hat mit diesen Systemen meistens nicht interagiert. Wenn doch, sieht es wie ein alberner Chatbot aus. Die Mehrheit der Fachleute sieht immer noch nur einen bescheidenen Zuwachs. Und ein kleiner Bruchteil der Fachleute erlebt den Schwindel der Kurve, die senkrecht nach oben geht. Und das alles passiert zur gleichen Zeit.