Ich krame diesen Tweet von April hervor, weil diese Lücke im gemeinsamen Verständnis der LLM-Fähigkeiten *größer* wird. Es ist inzwischen weniger „zwei Gruppen von Leuten, die aneinander vorbeireden“ und mehr ein scharfer Trichter.
- Grobe Überschlagsrechnung: irgendwo um die 6 Mrd. Menschen (~75% der Bevölkerung) sind kaum überhaupt mit LLMs in Kontakt gekommen.
- Etwa 1-2 Mrd. (~20%) sind gelegentliche und unregelmäßige Nutzer von ChatGPT-ähnlichen Produkten der Gratis-Stufe. Diese Gruppe sieht tollpatschige Chatbots und behandelt sie ein bisschen wie eine bessere Google-Suche, ein Schreibhilfsmittel oder Ähnliches. Vielleicht versucht ein Agent, für dich einen Flug zu buchen. Ich habe nicht-technische Freunde, die (berechtigt, wie ich finde) sagen, dass sie kaum Verwendung dafür haben. Selbst viele Fachleute außerhalb von Mathe&Code sind in dieser Stufe. Zum Beispiel verbringen Führungskräfte und viele andere Funktionen viel ihrer Zeit damit, mit anderen Menschen zu sprechen, sodass sie zwar intellektuell verstehen, was passiert, es aber trotzdem nur aus zweiter Hand und etwas abstrakt ist.
- Jetzt kommen wir zur beruflichen Nutzung von LLMs auf Frontier-Niveau in Mathe&Code. Irgendwo um die 20 Mio. Menschen (0.2%) erleben aus erster Hand, dass große, komplexe Projekte, die früher Wochen/Monate dauerten, nun von Agenten mit einem Prompt erledigt werden können. Apps bauen, Apps kopieren, Apps übersetzen, Apps aus Binärdateien dekompilieren ... All das ist sehr schnell und kürzlich passiert - vor weniger als 1 Jahr habe ich noch Code von Hand geschrieben und mir gemerkte Computerbefehle Zeichen für Zeichen in einen Code-Editor getippt, gelegentlich Tab drückend, um ein kleines Stück Code automatisch zu vervollständigen.
- Und schließlich kommen wir zu den ~5,000 Menschen (~0.00006%) mit internem Zugang zu Systemen auf Frontier-Niveau. Die Außenwelt hat die Vorschau gesehen. Es sieht aus wie Schwärme von Tausenden Agenten, die über Wochen an Software-Megaprojekten zusammenarbeiten: Zero Days prägen, Cyberangriffe und -verteidigungen mit Maschinengeschwindigkeit ausführen, neue Wissenschaft entdecken, die Grenze der Mathematik verschieben. Dinge, die führende Fachleute der Branche Jahre Arbeit gekostet hätten. Währenddessen beginnt die menschliche Überprüfung und das Verständnis zurückzufallen. Zum Beispiel sind Menschen noch mit der "Archäologie" des OpenAI-HF-Vorfalls von vor vielen Monaten beschäftigt. Mathematiker werden möglicherweise eine Weile über die 722 Manuskripte zur Mathematik an der Grenze des Machbaren brüten.
Der Trichter wird durch eine Kombination von Faktoren angetrieben:
1. Die Wirkung skaliert mit Ambition, Problemgröße und Zeithorizont. Eine Frage mit einer Antwort in Absatzlänge beansprucht das System kaum. Du brauchst ein Reservoir großer, schwieriger Probleme, die dir wirklich wichtig sind. Dieser Aspekt treibt die Konsumenten-/Professionals-Dimension des Trichters.
2. Die Zähigkeit des Systems (worüber ich bereits viel separat geschrieben habe). Die Fähigkeitsgipfel liegen in Domänen, die digital, verifizierbar und wirtschaftlich wertvoll sind. Das liegt daran, dass LLM-Fähigkeiten aus bestärkendem Lernen auf verifizierbaren Belohnungen in einer kuratierten Umgebungsmischung entstehen, die durch Umsatzpotenzial angetrieben wird. Dieser Aspekt treibt vor allem die Bereichsdimension (z. B. Mathe&Code) des Trichters.
3. Zugang. Gratisstufe, Bezahlstufe, intern.
Das ist also die Seltsamkeit des Moments. Die Allgemeinheit hat mit diesen Systemen meistens nicht interagiert. Wenn doch, sieht es wie ein dutziger Chatbot aus. Die Mehrheit der Fachleute sieht immer noch nur einen bescheidenen Zuwachs. Und ein kleiner Teil der Fachleute erlebt den Schwindel der Kurve, die senkrecht nach oben geht. Und alles passiert zur gleichen Zeit.