Von Tingyu aus dem AoFeisi-Tempel
Quantum Bit | WeChat-Konto QbitAI
RSI ist gerade so im Trend – kann es das Tempo des KI-Fortschritts wirklich unendlich schnell machen?
Jeff Deans Einschätzung lautet: Eher unrealistisch.
Er führt ein Beispiel an: Eine Person startet ein Experiment, das um 2 Uhr nachts endet, und sie muss bis 8 Uhr morgens auf ihren Arbeitsplatz warten, um die Ergebnisse anzusehen.
Ein automatisiertes System kann diese Wartezeit einsparen und rechtzeitig entscheiden, was in der nächsten Runde getan wird. Aber Training, Berechnung, Speichern der Daten und Auswertung der Ergebnisse – diese Schritte brauchen weiterhin Zeit.
Um Basismodelle zu entwickeln und zu verbessern, sind weiterhin umfangreiches Training und viele Experimente nötig,diese Prozesse können nicht mit unendlich hoher Geschwindigkeit abgeschlossen werden。
Kürzlich sprach Jeff Dean im Gespräch mit Li Feifei an der Stanford HAI(Institut für humanzentrierte künstliche Intelligenz)über die Grenzen von RSI und verriet auch, woran sein neues Unternehmen arbeitet.
Der ganze Verlauf war wieder im minimalistischen PPT-Stil des Google-Schwagers Jeff……
Laut seinen Angaben hat das neue UnternehmenDiscovery Loopbereits etwa 20 automatische Verbesserungsschleifen in Betrieb und zudem ein kollaboratives Rahmenwerk aufgebaut, das die gemeinsame Arbeit von Menschen und Agenten unterstützt.
Sie wollen, dass eine kleine Zahl von Experten mit einer großen Zahl von Agenten forscht, mit dem Ziel, die Produktivität von Fachexperten um das 20- bis 50-Fache zu steigern.
Um dieses Team aufzubauen, führten sie in den ersten drei Wochen 400 Interviews unter anderem in Cafés.
Als es um die Technologien ging, die diese Veränderungen ermöglichen, räumte Jeff Dean ein, dass er sich bei einigen Dingen verschätzt hat . . .
Eine davon ist das Programmieren.
Im Gemini-Projekt war Programmieren von Anfang an eines der Themen, auf die sich das Team fokussierte. Aber er hat nicht ausreichend vorhergesehen, wie tiefgreifend diese Fähigkeit die Fähigkeit der Modelle beeinflussen würde, verschiedenste Probleme zu lösen.
Er hatte auch gehofft, dass neuronale Netze mehr seltsame, unregelmäßige Strukturen entwickeln würden – dieser Entwicklungspfad ist jedoch nicht ganz so verlaufen, wie er es erwartet hatte.
Beim Thema KI in der Mathematik erkennt er den Wert maschinell erzeugter Beweise an, doch wichtiger ist ihm, ob Menschen aus diesen Ergebnissen Methoden verstehen und daraus ableiten können, die sich weiterverwenden lassen.
Folgendes ist eine redaktionell überarbeitete chinesische Aufbereitung des Vortrags und des Gesprächs.
Viel Spaß beim Lesen~
Jeff Deans Keynote: KI führt Experimente selbst durch – Ziel ist es, die Produktivität von Experten um das 20- bis 50-Fache zu steigern
Die Experimentierschleife automatisieren
Ich freue mich, heute mit Ihnen allen zusammen zu sein. Ich möchte vorstellen:Discovery Loop。
Unsere Mission ist es, KI-Systeme zu entwickeln, die automatisch wichtige Probleme in den Bereichen maschinelles Lernen, Wissenschaft und Ingenieurwesen lösen.
Wir glauben, dass dies letztlich zu mehr Entdeckungen führen wird, und genau das begeistert uns.
Viele Disziplinen haben einen gemeinsamen Prozess, der als allgemeiner Kreislauf von Wissenschaft und Technik bezeichnet werden kann: Man schlägt Experimente vor, führt sie durch und lässt sie laufen, beobachtet die Ergebnisse, prüft die einzelnen Messdaten und entscheidet dann, was als Nächstes zu tun ist. Der nächste Schritt ist oft, das Experiment erneut durchzuführen.
Unser Ansatz ist es, diese Experimentzyklen zu automatisieren.Wir glauben, dass durchschlagende Ergebnisse erzielt werden können, wenn man die Zeit jeder Iteration verkürzt, automatisch eine große Zahl von Experimenten vorschlägt und durchführt, aus jeder Auswertung lernt, sodass nachfolgende Experimente von den früheren Ergebnissen profitieren, und dabei gleichzeitig die Qualität und die Quantität der Experimente steigert.
Das ist es, was wir tun möchten.
Werfen Sie einen Blick auf die Liste der großen Herausforderungen der amerikanischen National Academy of Engineering. Dies sind wichtige Probleme, die im 21. Jahrhundert gelöst werden müssen, und dieses Jahrhundert ist bereits etwa zu einem Viertel vergangen.
Denken Sie daran, welche Teilprobleme zu ihrer Lösung bewältigt werden müssen, insbesondere in denjenigen Bereichen, die in der Abbildung rot markiert sind – unserer Meinung nach können automatisierte Entdeckungszyklen dort helfen.
Warum haben wir eine Public-Benefit-Corporation gegründet
Ein Punkt ist uns sehr wichtig und war Teil des Grundes, warum wir ein unabhängiges Unternehmen gegründet haben: Wenn man es richtig anstellt, kann Technologie der Welt großen Nutzen bringen, aber es erfordert die gemeinsame Anstrengung aller, um sicherzustellen, dass dieser Nutzen auch eintritt.
Deshalb haben wir das Unternehmen alsGemeinwohlorporation, das heißtPublic Benefit Corporation。
Unsere öffentliche Mission ist es, Technologien zur Bewältigung wichtiger gesellschaftlicher Probleme zu entwickeln, damit mehr Menschen von den Vorteilen dieser Technologien profitieren und ihr Leben verbessert wird.
Die Erfahrungen der vier Gründer
Eine kurze Vorstellung von uns vier Personen. Meine drei Mitgründer sindSanjay Ghemawat、Quoc LeundOriol Vinyals。
In Zweier-Kooperationen gerechnet haben wir 14 bis 30 Jahre zusammengearbeitet. Wir genießen es, gemeinsam schwierige Probleme zu lösen, und haben Erfahrungen auf verschiedenen Gebieten gesammelt.
Wir kommen alle von Google, daher steht die hier gezeigte Arbeit in Verbindung mit Google. Wir haben an mehreren Generationen von Suchprodukten mitgewirkt, an frühen Werbesystemen, kontextbezogener Werbung sowie an Produkten wie Gmail, News und Translate.
Die zweite Spalte ist Infrastruktur. Die Systeme im oberen Teil helfen Menschen, riesige Datenmengen zu organisieren und zu verwalten, groß angelegte Berechnungen durchzuführen und daraus wertvolle Informationen zu gewinnen.
Die vier Punkte darunter sind Infrastrukturen für maschinelles Lernen im großen Maßstab über mehrere Generationen, mit denen immer leistungsfähigere Modelle trainiert wurden. Wir haben auch an TPU mitgewirkt, spezialisierter Hardware für maschinelles Lernen.
In der KI-Forschung haben wir an wichtigen Technologien vieler der heutigen leistungsfähigen Modelle mitgewirkt, darunter Modell-Destillation, Mixture-of-Experts-Modelle, also MoE, sowie Neural Architecture Search.
Neural Architecture Search kann man als eine frühe Form automatisierter Experimentier-Schleifen betrachten: das Auffinden von neuronalen Architekturen, die zur Lösung einer bestimmten Problemklasse geeignet sind.
Wir haben auch Anwendungen von KI in verschiedenen Bereichen umgesetzt, darunter auch wissenschaftliche Forschung. Quoc und ich haben an AlphaChip mitgewirkt, dem Chipdesign mit verstärkendem Lernen, einschließlich Platzierung und Verdrahtung.
Oriol hat an AlphaFold und an Wettervorhersage mit neuronalen Netzen mitgewirkt. Unsere Erfahrungen ergänzen sich gut.
Wir haben auch sehr große Teams geführt. Das Google-Brain-Team, das ich leitete, hatte bis zu 600 Personen, die Google-Research- und AI-Teams bis zu etwa 4400 Personen.
Später stellte ich fest, dass ich zu viel Zeit in Meetings über die Betriebsausgaben des zweiten Quartals verbrachte. Ich drückte auf die Senden-Taste der nächsten E-Mail und wechselte davon, 4400 Menschen zu leiten, zu nur 4 direkten Mitarbeitern.
In der darauffolgenden Woche ging Geoff Hinton in den Ruhestand, sodass mir nur noch 3 direkte Mitarbeiter blieben.
Später waren Oriol und ich gemeinsam technische Leiter des Gemini-Projekts, Quoc war für Post-Training zuständig.
Wir sind auch stolz auf Menschen, die in unseren Teams gearbeitet haben und später Hervorragendes geleistet haben, darunter die Gründer von Unternehmen wie Anthropic, OpenAI und Physical Intelligence. Physical Intelligence dürfte in Stanford ziemlich bekannt sein.
Unsere Erfahrung verbindet KI-Forschung und verteilte Systeme.
Diese Abbildung zeigt anhand der Zitationen bei Google Scholar einige häufig zitierte Forscher in den Bereichen KI und verteilte Systeme; in den roten Rahmen stehen wir, und die Personen mit Stern haben ebenfalls in unseren Teams gearbeitet.
Teamaufbau und Rekrutierung
Wir haben auch viel Spaß zusammen und waren an vielen Orten. Auf den Fotos sind London, Patagonien, Vietnam und Kalifornien zu sehen.
Quoc und ich fuhren einmal nach dem Abendessen mit einem Uber-ähnlichen Motorrad-Dienst zurück zu unserer Unterkunft.
In der ersten Phase nach der Gründung des Unternehmens haben wir viel Energie in den Aufbau des Gründungsteams investiert. Die Leute kommen aus verschiedenen Bereichen, wie Sie an den Logos in der Abbildung sehen können. Viele haben Erfahrung mit der Gründung von Unternehmen oder der Leitung wichtiger Projekte.
Das Team umfasst Erfahrung in der Leitung des Go-Sprachprojekts sowie wichtige Mitwirkende an Projekten wie Gemini, DeepSeek und Kimi K3. Einer der Co-Autoren des Kimi-K3-Papers, der zugleich Autor der Arbeit zu Attention Residuals ist, ist kürzlich zu uns gestoßen.
Unser Team umfasst sowohl erfahrene Personen als auch aufstrebende新星 am Anfang ihrer Karriere. Etwa 10 % der Leute im Unternehmen haben den ACM Computing Award gewonnen, und 10 % haben Medaillen bei der IOI, also der Internationalen Olympiade für Informatik, gewonnen.
Wir freuen uns darauf, mit diesen Menschen zusammenzuarbeiten, und wir schätzen die Fähigkeit, gemeinsam zu arbeiten, sehr.
Warum man das jetzt tun kann
Warum jetzt? Weil die Modelle an der Spitze bereits sehr leistungsfähig sind. Das beruht auf Innovationen auf mehreren Ebenen im Bereich der KI über die letzten 10 bis 15 Jahre.
Die Hardware-Leistung hat sich stark verbessert, darunter TPUs, GPUs und andere stärker spezialisierte Hardware. Auch die Software-Abstraktionen haben sich verbessert, sodass Menschen leichter umsetzen können, was sie vorhaben, und Berechnungen effizienter auf die Hardware abbilden können.
Auch die Modellarchitekturen haben sich weiterentwickelt, zum Beispiel word2vec, Sequenz-zu-Sequenz-Modelle, Transformer und MoE. Bei den Trainingsalgorithmen gab es viele Fortschritte; Techniken wie Destillation ermöglichen auch kleineren Modellen sehr gute Ergebnisse.
Auch bei den Inferenzalgorithmen gab es große Fortschritte. Wir können in der Inferenzphase mehr Rechenleistung investieren, um bessere Ergebnisse zu erzielen, etwa durch den Einsatz von Chain-of-Thought oder indem man mehrere Lösungswege ausprobiert und die Ergebnisse anschließend überprüft.
Modelle benötigen Werkzeuge, Kreativität und gesammelte Erfahrung
Allein mit einem starken Basismodell lassen sich die Probleme, die wir lösen wollen, noch nicht bewältigen. Wir müssen von einem ausgezeichneten Basismodell ausgehen und es mit Agenten kombinieren, damit das System Werkzeuge effektiv nutzen und komplexe Aufgaben erledigen kann.
Wir wünschen uns insbesondere, dass Agenten und Modelle über Kreativität verfügen. Durchbrüche in Wissenschaft oder Technik erfordern oft, unterschiedliche Erkenntnisse zu kombinieren, Neues vorzuschlagen und anschließend die Wirkung zu prüfen.
Diese Systeme sollten außerdem aus früheren Experimenten und Erfahrungen lernen. Das umfasst sowohl das Lernen bei der Lösung des aktuellen Problems als auch die langfristige Ansammlung von Wissen.
Angenommen, ein System hat bereits 5000 Probleme gelöst, dann kann es bei dem Problem Nummer 5001 auf diejenigen Erfahrungen zurückgreifen, die für das neue Problem am relevantesten sind.
Die Schwierigkeit großer Projekte liegt auch in Aufgabenverteilung und Koordination
Jede Phase des traditionellen Experimentierzyklus erfordert viel manuelle Arbeit.
Bei größeren Problemen wird alles komplizierter, weil man sie in der Regel in viele Teilprobleme oder Teilmodule zerlegen muss – und diese Zerlegung selbst ist bereits eine schwierige Aufgabe.
In jedem Teilgebiet laufen zudem viele Personen Experimente und beurteilen, welche Ansätze funktionieren und welche nicht.
Das führt zu Koordinationsaufwand, Ressourcenkonflikten und Problemen auf der Ebene großer Systeme. Probleme zu zerlegen ist schwer, und die Ergebnisse der Teilprobleme zusammenzuführen ist ebenfalls schwer.
Noch problematischer ist, dass sich die ursprüngliche Zerlegung eines großen Projekts kaum mehr ändern lässt, sobald es erst einmal läuft. Ob bei der Herstellung eines Flugzeugs oder beim Training eines Frontier-Modells: Frühe Entscheidungen lassen sich kaum noch flexibel anpassen.
Wir sind der Ansicht, dass eine kleine Zahl von Fachexperten gemeinsam mit automatisierten Systemen arbeiten kann. Idealerweise zerlegt das System automatisch in lohnende Teilprobleme und löst diese auch automatisch.
Natürlich kann es auch erforderlich sein, dass Menschen die Zerlegung anleiten und beurteilen, welche Teilprobleme am wichtigsten sind.
So können wenige Personen mit Fachexpertise große, einflussreiche Probleme bearbeiten. Wir glauben, dass eine geeignete Infrastruktur diese Arbeitsweise unterstützen kann.
Man muss Zehntausende automatisierte Experimente durchführen, und das System muss den Wert der verschiedenen Experimente verstehen und entscheiden, was als Nächstes zu tun ist.
Verstärkungslernen oder evolutionäre Algorithmen können für automatisierte Entscheidungen eingesetzt werden und machen frühere Entscheidungen leichter neu bewertbar. Jedes frühe Experiment sollte die nachfolgenden Experimente informieren.
Bereits etwa 20 automatisierte Verbesserungsschleifen laufen
Was haben wir bisher getan?
In den ersten drei Wochen haben wir 400 Interviews geführt, die meisten im Cafe Venetia an der University Avenue, um die zuvor genannten Talente zu finden.
Wir haben auch nach Büroräumen gesucht und sind inzwischen in die frühere Räumlichkeit des Restaurants Zibibbo eingezogen – ein Raum mit ziemlich eigenem Charakter.
Wir haben unser eigenes Agenten-Ausführungsframework aufgebaut, also einen Agent Harness, der für interne Entwicklung und Automatisierung genutzt wird.
Er verfügt über einige gute Kollaborationsfunktionen: Man kann mit dem Modell对话 führen, es um die Lösung von Problemen bitten, aber auch Kollegen einladen, sodass zwei Personen gemeinsam mit dem Modell und Agenten kommunizieren.
Andere können Kommentare zu laufenden Arbeiten abgeben und vor der Übergabe eines Plans an den Agenten Designanfragen einbringen.
Unsere Infrastruktur ist von Anfang an für Agenten aufgebaut worden, mit dem Ziel, auf Zehntausende oder sogar Hunderttausende Agenten, die Aufgaben ausführen, skalieren zu können – und nicht nur Hunderte von Menschen zu unterstützen. Wir halten das für wichtig.
Derzeit laufen etwa 20 automatisierte Verbesserungsschleifen, und wir können sehen, wie sie laufen und sich verbessern.
Wir bewerten außerdem, wie man diese Experimentiterationen effektiver und schneller gestalten kann und wie man frühere Experimentergebnisse und Messdaten nutzen kann, damit das System schneller lernt.
Das Ziel ist, die Produktivität von Fachexperten um das 20- bis 50-Fache zu steigern
Das ist unser aktueller Stand: Wir bauen Software-Schleifen auf und automatisieren Machine-Learning-Aufgaben, weil wir glauben, dass dies mehr autonome wissenschaftliche Forschung voranbringen kann.
Anfangs konzentrierten wir uns darauf, automatisierte Systeme zu bauen, die Probleme der Machine-Learning-Forschung und des Machine-Learning-Engineerings lösen können.
Unser Ziel ist es, die Produktivität von Fachexperten um das 20- bis 50-Fache zu steigern.
Wir möchten, dass diese Fachexperten sowie Menschen, die wirklich eine bestimmte Art von Problemen lösen wollen, Probleme mit weniger Aufwand lösen können. Der Mensch hat darin weiterhin seine eigene Rolle.
Die Durchbrüche im maschinellen Lernen der vergangenen 15 Jahre haben leistungsstarke Modelle hervorgebracht und die Grundlage für automatisiertes maschinelles Lernen in Wissenschaft und Technik geschaffen, wodurch die Geschwindigkeit von Entdeckungen beschleunigt wird. Vielen Dank.
Übrigens, wir stellen ein, man kann sich auf discoveryloop.com bewerben.
Jeff Dean im Gespräch mit Li Feifei: Auch RSI hat physikalische Grenzen, die Destillationsarbeit wurde damals als wenig einflussreich belächelt
Warum Google verlassen, um ein Unternehmen zu gründen
Li Feifei:Danke, Jeff, das war ein großartiger Vortrag. Ich glaube, das ist der letzte, wir liegen genau zwischen dem Publikum und den Refreshments.
Jeff Dean:Das ist nie eine gute Position.
Li Feifei:Ich hätte gehofft, dass diese Diskussion etwas technischer wird. Aber da es ein Gespräch ist, werde ich gleichzeitig die Rolle der Fragestellerin und der Diskutantin übernehmen.
Danke für deinen Vortrag. Meine erste Frage war ohnehin schon: Warum habt ihr Discovery Loop gegründet? Herzlichen Glückwunsch.
Jeff Dean:Danke.
Li Feifei:Ihr vier wart praktisch alle sehr lange bei Google, besonders du bist schon 1999 zu Google gestoßen.
Die technischen Fortschritte der letzten Jahre sind für alle sichtbar, aber mich interessiert trotzdem: Gab es einen bestimmten Moment, vielleicht in den letzten ein, zwei Jahren, in dem du, Quoc, Sanjay und Oriol das Gefühl hattet, etwas anderes tun zu müssen – und dafür Google verlassen zu müssen?
Jeff Dean:Wir haben immer mit großer Begeisterung beobachtet, dass automatisierte Systeme Menschen zunehmend bei der Softwareentwicklung helfen können.
Quoc hat vor zehn Jahren viele Arbeiten zur neuronalen Architektursuche gemacht – man kann das als eine Art frühes rekursives System zur Selbstverbesserung betrachten: Es sollte Modellarchitekturen für Computer-Vision- oder Sprachprobleme finden.
Wir wussten, dass solche Ansätze funktionieren. Allerdings musste man damals mit einer Menge unübersichtlichen Python-Codes den Suchraum festlegen.
Heutzutage kann man einem fähigen Modell- und Agentensystem in natürlicher Sprache eine Aufgabe stellen, etwa Modellarchitekturen zu erkunden, die beim Auswerten von MRT-Bildern helfen, und es lässt die Arbeit machen.
Das verändert unsere Vorstellung von den Fähigkeiten von Computern und KI-Systemen. Wenn man diese Systeme zuverlässig laufen lassen kann, kann man vieles tun. Wir glauben, dass Wissenschaft und Technik besonders geeignet sind, damit positive Wirkung zu erzielen.
Li Feifei:Also waren es diese Schleifen und Fähigkeiten zur Selbstverbesserung, die euch zur Gründungsidee gebracht haben.
Jeff Dean:Manche könnten sagen, wir sind ein bisschen „loopy“.
〔Anmerkung: Hier ist ein Wortspiel mit loopy und loop, mit der scherzhaften Bedeutung „ein bisschen verrückt, ein bisschen schrullig“.〕
Jeff Dean:Ein weiterer Punkt ist ebenfalls wichtig. Wir haben mehrfach erlebt, wie etwas mit einem sehr kleinen Projekt beginnt, und wir lieben dieses Gefühl: Anfangs sind es 5 Personen, dann kommt die 6., die 7., die 10. Person dazu – das macht wirklich Spaß.
Auch in großen Unternehmen kann man solche Erfahrungen machen. Aber wir wollten daraus ein Public-Benefit-Company machen, weil das unsere Werte widerspiegelt.
Eine Gründung bedeutet auch größere Herausforderungen: Man muss sich um Büroräume kümmern und um andere Dinge, die mit der Gründung eines Unternehmens verbunden sind – auch das macht Spaß.
Li Feifei:Bei der Gründung von World Labs gab es bei mir auch einen ähnlichen technischen Moment.
Unsere Interessensrichtung unterscheidet sich von eurer; was uns ausgelöst hat, ist die Verschmelzung von Computer Vision und generativen Modellen, die uns die Möglichkeit sehen ließ, generative Modelle zu schaffen, die über Text hinausgehen.
Jeff Dean:Die generativen Modelle, die ihr entwickelt habt, und die Fähigkeiten, die damit heute möglich sind, sind wirklich beeindruckend.
Wie unterscheidet man Selbstverbesserung von rekursiver Selbstverbesserung
Fei-Fei Li:Lassen wir über Selbstverbesserung und rekursive Selbstverbesserung sprechen, etwas eingehender. Wir haben Maschinelles Lernen in etwa zur selben Zeit gelernt.
Ich habe gerade überlegt, wie viele Namen dieses Konzept schon hatte: inkrementelles Lernen, kontinuierliches Lernen, Meta-Lernen, lebenslanges Lernen, Suche nach neuronalen Architekturen, und jetzt Selbstverbesserung und RSI.
Kannst du den Zuschauern, insbesondere den technisch versierten Zuschauern, eine strengere Definition geben?Was ist Selbstverbesserung, und was ist rekursive Selbstverbesserung?Ich möchte Vorstellung und Tatsachen unterscheiden.
Jeff Dean:Die Schleife, die ich vorhin beschrieben habe, lässt sich auf viele Probleme anwenden. Unter einem System zur Selbstverbesserung verstehe ich Folgendes: Man gibt ihm ein Ziel, meist eine messbare Metrik, etwa die Genauigkeit eines bestimmten Machine-Learning-Modells. Das System probiert verschiedene Modellarchitekturen aus, um diese Metrik zu verbessern.
Fei-Fei Li:Stopp mal – das können viele Machine-Learning-Algorithmen.
Jeff Dean:Richtig.
Fei-Fei Li:Das allein ist doch noch keine Rekursion, oder?
Jeff Dean:Zum Beispiel geben wir dem System eine Reihe von MRT-Daten und den entsprechenden Ergebnissen und lassen es ein Modell entwickeln, das bei der Interpretation von MRT-Bildern hilft. Das System kann automatisch ein Modell entwickeln, verschiedene Ansätze ausprobieren, und hoffentlich steigt die Genauigkeit mit dem Fortschreiten der Experimente.
Aber das verbessert nicht das grundlegende System, das für den Vorschlag der nächsten Experimente zuständig ist.Bei der rekursiven Selbstverbesserung geht es darum, wie man dieselbe Methode der Selbstverbesserung auf das grundlegende System selbst anwendet, das für den Vorschlag von Verbesserungen zuständig ist.
Warum der Zyklus der Selbstverbesserung nicht unendlich schnell laufen kann
Li Feifei:Ich habe verstanden. Aber dieses Konzept ist für viele Menschen leicht zu verwechseln. Besonders im Silicon Valley wird es sehr beiläufig verwendet, und als Wissenschaftlerin macht mich das etwas unruhig. Ich möchte hier RSI klar definieren.
Kommen wir zu den physikalischen Grenzen von RSI. Es wird derzeit als ein System beschrieben, das kein Ende hat und sich immer weiter beschleunigen kann, bis ins Unendliche. Was davon ist Hype und was ist Fantasie?
Jeff Dean:Denken wir daran, wie Menschen in den vergangenen 10 bis 15 Jahren die Fähigkeiten von Modellen verbessert haben: Forscher und Machine-Learning-Ingenieure führten gemeinsam zahlreiche kleine Experimente durch, um herauszufinden, welche Ideen funktionieren und welche nicht, und wandten die erfolgreichen Methoden dann auf die nächste Modellgeneration an.
Nach Gemini 1 kam Gemini 2 – so ist es entstanden.
Das ist der normale Forschungs- und Entwicklungsprozess. Mit Automatisierung lassen sich indeed einige Schritte beschleunigen. Zum Beispiel startet eine Person ein Experiment, das Experiment endet um 2 Uhr nachts, und sie muss bis 8 Uhr morgens warten, bis sie zurück an ihrem Arbeitsplatz ist, um die Ergebnisse anzusehen.
Ein automatisiertes System kann die Ergebnisse sofort ansehen und beurteilen, was als Nächstes zu tun ist. Auf der Ebene eines gesamten großen Projekts kann es möglicherweise auch besser entscheiden, was als Nächstes zu tun ist, als es einzelne Personen jeweils für sich könnten.
Aber um ein Basismodell zu erstellen und zu verbessern, sind weiterhin umfangreiche Trainings und Experimente erforderlich, und diese Prozesse können nicht mit unendlich hoher Geschwindigkeit ablaufen.
Hier gibt es echte physikalische Prozesse: Computer müssen Berechnungen ausführen, Ergebnisse müssen überprüft, Daten müssen gespeichert werden, und ein anderes Modell muss die Ergebnisse analysieren und den nächsten Schritt entscheiden.
Manche glauben, dass dieser Zyklus unendlich schnell laufen kann – das halte ich für nicht sehr realistisch. Wir müssen realistisch bleiben. Automatisierte Systeme können zweifellos das Tempo der Verbesserung dieser Systeme erhöhen, aber sie werden sie nicht unendlich schnell machen.
Verbessern sich auch Menschen rekursiv selbst?
Li Feifei:Ich finde diesen Punkt sehr wichtig. Ich habe mich eigentlich nicht um die Arbeit an Discovery Loop beworben, aber ich habe tatsächlich mit Jeff im Cafe Venetia Kaffee getrunken.
Jeff Dean:Wir trinken aus vielen Gründen Kaffee, weil wir Kaffee mögen.
Li Feifei:Wir haben die ganze Zeit über den Hype und die Fakten zu RSI gesprochen – offenbar haben wir damals schon auf dieses Gespräch hingearbeitet. Mir ist eine Analogie eingefallen, die du noch nicht gehört hast; du kannst ihr zustimmen oder sie ablehnen.
Sind Menschen Systeme der Selbstverbesserung oder Systeme der rekursiven Selbstverbesserung? Ich glaube, Menschen verbessern sich sicherlich selbst.
Ich bin eine schlechte Köchin. Beim ersten Omelett habe ich vielleicht alles angebrannt, beim zweiten Male ziehe ich aus der Erfahrung etwas und es gelingt mir etwas besser. Vielleicht kann ich nach 10 Versuchen ein Omelett machen, das ich gerade noch essen kann, meine Kinder aber nicht essen mögen.
Das ist Selbstverbesserung.
Aber rekursive Selbstverbesserung betrifft das Gehirn. Während ich lerne, ein Omelett zu machen, muss sich in meinem Gehirn irgendetwas verändern, neuronale Verbindungen müssen angepasst werden, sodass ich ein besseres System habe, um diese Aufgabe zu erledigen.
Wenn wir über Hardware-Verbesserungen sprechen, könnte mir vielleicht auch ein sechster Finger wachsen.
Jeff Dean:Vielleicht bist du KI-generiert.
Li Feifei:Genau. Wenn man weiter Omeletts macht, verbessert sich das Gehirn weiter. Wenn ein solcher Zyklus stattfindet, dann wären Menschen RSI-Systeme. Stimmt diese Analogie?
Jeff Dean:Ich denke, beides. Menschen lernen im Laufe ihres Lebens viele Dinge, zum Beispiel Omeletts zubereiten oder Calculus-Aufgaben lösen – das ist Selbstverbesserung. Menschen lernen auch, wie man lernt.
Li Fei-Fei:Und das Erlernen des Lernens ermöglicht es Menschen, sich rekursiv selbst zu verbessern. Wenn man versteht, wie man Wissen und Informationen am effektivsten aufnimmt, kann man schneller mehr Dinge lernen.
Jeff Dean:Genau.
Li Fei-Fei:Rekursive Selbstverbesserung könnte auch ein evolutionärer Algorithmus sein, oder? Wollen wir da aber nicht weiter eintauchen. Ich finde es wertvoll, dass diese Frage offen diskutiert werden kann, denn es gibt derzeit einfach zu viel Hype darum.
Jeff Dean:Es gibt viele Aussagen, wonach dies unendlich schnell geschehen wird und daher furchteinflößend sei. Wenn man es als ein laufendes Ingenieurssystem begreift, hat man weniger Angst und kann es besser verstehen.
Zuerst Forschung im digitalen Umfeld, Gesundheitswesen ist eine Richtung für die Zukunft
Li Fei-Fei:Sie haben viel über die Discovery Loop gesprochen, aber es bleibt etwas unklar, welche wissenschaftlichen Fragen sie genau lösen soll.
Ich möchte nachfragen, soweit Sie es preisgeben möchten: Es gibt so viele wissenschaftliche Fragen, die der Gesellschaft zugutekommen können – welche möchten Sie derzeit am liebsten erforschen?
Jeff Dean:Ich interessiere mich schon lange für den Einsatz von KI im Gesundheitswesen. Das werden wir künftig angehen, aber nicht jetzt. Dieses Gebiet ist wichtig und passt sehr gut zu unserer Mission als Unternehmen mit Gemeinwohlorientierung.
Derzeitkonzentrieren wir uns auf Wissenschafts- und Ingenieurprobleme, bei denen der gesamte experimentelle Zyklus in einer digitalen Umgebung abgeschlossen werden kann. Solche Probleme eignen sich besser, um den gesamten Zyklus zu beschleunigen.
Wenn physikalische Experimente oder andere reale Prozesse beteiligt sind, ist eine Beschleunigung schwieriger. Natürlich benötigen viele wichtige Disziplinen physikalische Prozesse; wir haben auch einige hybride Ansätze, die diesen Bereichen helfen können, die Forschung zu beschleunigen.
Anfangs konzentrierten wir uns auf drei Bereiche: Machine-Learning-Forschung, Machine-Learning-Engineering und Hardware-Design. Es ist sinnvoll, sich zunächst auf einige Bereiche zu fokussieren; wir haben auch Erfahrung in diesen Richtungen, und diese Arbeiten können bei anderen Forschungen helfen.
Zum Beispiel könnte ein System, das automatisch Machine-Learning-Engineering-Aufgaben lösen kann, in Bereichen wie Gesundheitswesen oder Materialwissenschaft eingesetzt werden, um Modelle zu entwickeln, die für eine bestimmte Aufgabe geeignet sind. Das ist Selbstverbesserung, aber keine rekursive Selbstverbesserung.
Wir konzentrieren uns jetzt auf diese drei Bereiche und hoffen, künftig auf weitere Richtungen ausweiten zu können.
Können automatisierte Experimentiersysteme theoretische Forschung betreiben
Li Fei-Fei:Ich habe Physik studiert. In der Physik gibt es die Unterscheidung zwischen experimenteller und theoretischer Forschung. Der Kreis, den Sie gezeichnet haben, beginnt mit „Experiment vorschlagen“; in der Physik sagen wir üblicherweise „Hypothese vorschlagen“, dann Experimente durchführen und Ergebnisse bewerten.
Ob rekursiv oder nicht – diese mächtigen KI-Agenten und Selbstverbesserungsschleifen betonen stark das Aufstellen von Hypothesen und das parallele Durchführen von Experimenten. Ist das nicht eher der Weg der experimentellen Forschung? Der Prozess theoretischer Entdeckungen scheint sich schwerer beschreiben zu lassen.
Theoretiker wie Newton oder Einstein führten selbst nicht so viele Experimente durch. Sie lasen zwar experimentelle Ergebnisse, aber ihre Arbeitsweise war eine andere. Wird Ihr Ansatz eher zur experimentellen Forschung tendieren?
Jeff Dean:Nicht unbedingt, obwohl es vielleicht leicht in diese Richtung tendieren könnte. Aber ich bin tatsächlich der Ansicht, dass solche Systeme auch sehr gute theoretische Forschung betreiben können.
Man kann es fragen, ob es eine Theorie vorschlagen kann, die diese Daten erklärt. Das System kann es wiederholt versuchen und nach einer Theorie suchen, die die experimentellen Daten erklärt und dabei möglichst einfach ist.
Viele Physiker verfolgen ebenfalls die Fortschritte im experimentellen Bereich und versuchen, Phänomene zu erklären, die Menschen beobachtet, aber noch nicht verstanden haben. Ich halte das für möglich, und man sollte diese Disziplinen auch nicht vollständig trennen.
Man stelle sich ein System vor, das in 100 Wissenschaftsbereichen 100 Millionen Experimente durchgeführt und 1 Million Probleme gelöst hat. Es hat alle möglichen experimentellen Ergebnisse gesehen und weiß, in den mit künftigen Problemen verwandten Bereichen, welche Methoden funktionieren und welche nicht – sehr wahrscheinlich gewinnt es daraus viele Erkenntnisse.
Diese Erfahrungen haben nicht unbedingt strenge disziplinäre Grenzen wie die akademischen Fakultäten der Menschen. Was ich an HAI mag, ist, dass es über Organisationsgrenzen hinweg Menschen aus verschiedenen Bereichen zusammenbringt, um sich auszutauschen.
Der Wert von KI-Mathematikbeweisen und die Rolle eleganter Lösungen
Li Fei-Fei:Dann müssen wir über Mathematik sprechen. Bei der Vorbereitung dieses Gesprächs habe ich auch Terence Tao eingeladen und ihn angerufen, aber er konnte nicht kommen.
Angesichts dieser jüngsten Fortschritte sind meine Gefühle gemischt. Zuerst gab es Arbeiten rund um Navier-Stokes, dann über 720 mathematische Manuskripte, und gestern veröffentlichte OpenAI wieder Ergebnisse zu KI-Lösungen mathematischer Probleme.
Diese Entdeckungen begrüße ich selbstverständlich. Die Mathematik und jene Probleme, die seit Hunderten oder sogar Tausenden von Jahren bestehen, sind ein wichtiger Ausdruck menschlicher Intelligenz. Mathematiker sehen darin sowohl Lösungen als auch Schönheit.
Jetzt haben wir einen völlig anderen Mechanismus, um solche Probleme anzugehen.
Ich habe viel mit Terence Tao gesprochen. Er hat kürzlich auch über „Mathematik 2.0“ gesprochen und diskutiert, bei welchen Problemen KI helfen kann.
Nach seiner Aussage gibt es auch Probleme, die noch außerhalb der Fähigkeiten von KI liegen, insbesondere solche ohne bekannte Lösungslösungen und ohne Daten.
Wie stehen Sie zu diesen Veränderungen, die sich in der Mathematik in nur wenigen Wochen ereignet haben?
Jeff Dean:Diese Modelle und Agentensysteme, die es Modellen ermöglichen, hochgradig parallel zu arbeiten, haben bereits die Fähigkeit gezeigt, sehr schwierige offene mathematische Probleme zu lösen. Das zeigt uns, was heute möglich ist.
Ich denke, Menschen sind manchmal unzufrieden oder fühlen sich sogar beunruhigt, weil manche Beweise etwa aus 500 Seiten Lean-Code bestehen.
Maschinen können das prüfen, aber Menschen verstehen noch nicht recht, wie man zu jenem Ergebnis auf elegante, prägnante Weise gelangt.
Zu wissen, dass ein Problem bewiesen oder widerlegt wurde, ist selbstverständlich wertvoll. Aber wenn menschliche Mathematiker an einem Problem arbeiten, entwickeln sie auch elegante Methoden. Diese Methoden führen oft wiederum zu neuen mathematischen Werkzeugen, die für andere Probleme verwendet werden.
Li Fei-Fei:Meinen Sie, dass neue Mathematik nur aus eleganten Lösungen kommen kann?
Jeff Dean:Nein. Ich meine, dass eine elegante Lösung oft eine gute Methode hervorbringt, die für andere Probleme verwendet werden kann.
In bestimmten sehr langen, maschinell erzeugten Beweisen haben Leute eine solche klare, elegante Methode noch nicht unbedingt gesehen.
Aber zu wissen, dass etwas machbar ist, ist ebenfalls wichtig.Wenn man weiß, dass ein Problem lösbar ist, arbeiten die Leute härter und finden vielleicht eine andere, elegantere Lösung.
Dass so viele Probleme gleichzeitig gelöst werden, kann vielleicht etwas beunruhigend sein, aber das ist nun einmal eine Möglichkeit geworden. Wir müssen Wege finden, diese Fähigkeiten zu nutzen, um mehr mathematische Forschung zu betreiben.
Ein kleines Quiz über das Transformer-Paper
Li Fei-Fei:Wir könnten noch sehr lange reden. Allerdings habe ich versprochen, Jeff auf der Bühne einem kleinen Überraschungstest zu unterziehen, ohne ihm vorher die Fragen zu verraten. Es ist auch nicht schlimm, wenn er nicht antworten kann, denn ich erinnere mich selbst nicht mehr daran.
Jeff Dean:Gut, völlig ohne Druck.
Li Fei-Fei:Erinnerst du dich, was für ein Tag der 12. Juni 2017 war? Schummeln mit KI ist verboten.
Jeff Dean:Der Tag, an dem die Transformer-Arbeit auf arXiv veröffentlicht wurde?
Li Fei-Fei:Ausgezeichnet, A+! Ich hätte selbst nachschauen müssen, um zu wissen, welcher Tag es war. Hast du die Arbeit am 12. Juni gelesen?
Jeff Dean:Nein, wahrscheinlich am 10. Juni.
Li Fei-Fei:Oh, stimmt, du musstest sie ja vermutlich auch noch freigeben.
Wichtige technische Fortschritte und unerfüllte Architektur-Erwartungen
Li Fei-Fei:Rückblickend auf deine Karriere: Ihr vier habt viel bei Google und im gesamten Fachgebiet geleistet. Nehmen wir jenen Tag einfach als historischen Markstein, gewissermaßen als den Beginn des Zeitalters der generativen Modelle.
Welche technischen Momente waren in den knapp 9 vergangenen Jahren für dich die wichtigsten? Und sag bitte auch offen: Welche Vorhersagen gingen richtig, welche falsch?
Jeff Dean:Ein paar Dinge stechen hervor. Viele der Arbeiten, die wir geleistet haben, haben zu wichtigen Verbesserungen geführt, ähnlich wie das, was auf der vorhin gezeigten Folie aufgelistet war.
Der Transformer ist eine effizientere Modellarchitektur zur Verarbeitung dieser Probleme. Die Idee, frühere Zustände zu speichern und über Aufmerksamkeitsmechanismen darauf zuzugreifen, ist sehr wertvoll.
Frühere Ansätze aktualisierten dagegen bei jedem Schritt einen kleineren Vektor und vergaßen frühere Zustände. Verglichen mit frühen Modellen vom LSTM-Typ kann ein Transformer mit weniger Rechenleistung mehr lernen.
Dann ist da die Distillation-Arbeit, die Oriol, Geoff Hinton und ich gemacht haben. Sie wurde 2016 von NeurIPS abgelehnt, mit dem Kommentar, sie dürfte wohl kaum irgendeine Wirkung entfalten.
〔Anmerkung: Gemeint ist hier die von Geoffrey Hinton, Oriol Vinyals und Jeff Dean gemeinsam verfasste Arbeit „Distilling the Knowledge in a Neural Network“ („Wissensdestillation in einem neuronalen Netzwerk“)〕
Li Fei-Fei:Wir sollten eine Website machen und die abgelehnten Paper sammeln.
Jeff Dean:Dieses Paper wäre gut dafür geeignet. Wir haben es auf arXiv gestellt, und inzwischen hat es rund 40.000 Zitationen.
Distillation ist wichtig, um leistungsfähige und zugleich recheneffiziente Modelle zu bauen. Man kann ein ausgebildetes, riesiges und teures Modell als Lehrer dienen lassen, das ein schlankes Schülermodell anlernt. An der Universität passt diese Metapher besonders gut.
Auch bei den Architekturen gab es Fortschritte. Ich hätte ursprünglich erwartet, dass wir noch mehr ungewöhnliche neuronale Netzwerkarchitekturen sehen würden. Ein MoE teilt eine Gruppe von Experten auf, führt sie wieder zusammen, dann erneut auf und zusammen, und lernt dabei, welche Experten bei welchen Aufgaben gut sind.
Das ist nützlich: Ein Modell kann eine große Kapazität haben, während für jedes Token oder jede Aufgabe nur ein kleiner Teil davon aktiviert wird. Aber es bleibt dennoch sehr regelmäßig. In den meisten Architekturen haben die Experten dieselbe Größe, und sie führen sehr bald wieder zusammen.
Ich hätte erwartet, mehr Netzwerke zu sehen, die unregelmäßig geformt und eher „organisch“ wirken: dass gewisse neuronale Aktivitäten säulenartige Strukturen bilden, dass es stellenweise nur wenige, aber groß angelegte Querverbindungen gibt, die weit voneinander entfernte Teile des Netzwerks verbinden. Das haben wir noch nicht erreicht.
Li Fei-Fei:Als wir neuronale Architektursuche betrieben haben, haben wir uns das auch überlegt, aber es hat sich später nicht verwirklicht, oder?
Jeff Dean:Modelle aus der neuronalen Architektursuche sind tatsächlich unregelmäßiger als handentworfene Architekturen. Handentwürfe bestehen oft aus Schicht auf Schicht, gelegentlich mit ein paar Skip-Connections. Bei durch Suche entstandenen Architekturen können sehr besondere Verbindungsmuster auftreten.
Li Fei-Fei:Zum Beispiel diese Schicht mit der 17. Schicht darüber oben zu verbinden und etwas Seltsames zu tun.
Jeff Dean:Genau.
Li Fei-Fei:Ist das also eine Sache, bei der du dich irrtet?
Jeff Dean:Ich habe mich bei vielen Dingen geirrt. Diese ist besonders hervorstechend; ich hatte ursprünglich gedacht, dass sich die Architekturen mehr in diese Richtung entwickeln würden.
Die Bedeutung von Programmierfähigkeiten wurde unterschätzt
Jeff Dean:Programmierfähigkeiten erwiesen sich später als äußerst wichtig. Das hatte ich damals nicht vollkommen vorhergesehen – dass sie zu einer Schlüsselfähigkeit werden würde, mit der Modelle viele verschiedene Probleme lösen.
Li Fei-Fei:Das sehe ich auch so. Wir wussten in etwa, dass sie wichtig ist, aber wir hatten nicht vorhergesehen, dass die Auswirkungen so tiefgreifend sein würden.
Jeff Dean: Im Gemini-Projekt war Programmieren zwar eine der Richtungen, auf die wir achteten, aber damals haben wir es nicht zum wichtigsten Schwerpunkt gemacht.
Wie man mit den gesellschaftlichen Auswirkungen von KI umgeht
李飞飞:Da dies die HAI-Konferenz ist, müssen wir über das H darin sprechen, also den Menschen.
Welche der gesellschaftlichen Auswirkungen durch KI – darunter Veränderungen in der Arbeitswelt, psychologische Ängste sowie Diskussionen über menschliches Aussterben, Alignment und ähnliche Fragen – hast du vorhergesehen? Was bereitet dir derzeit die größte Sorge?
Jeff Dean:KI ist eine sehr mächtige und sehr universelle Technologie, die praktisch alle Bereiche der Gesellschaft beeinflusst. Ob in der Mathematik, beim Programmieren, bei der Bilderzeugung oder beim autonomen Fahren – sie kann überall eine Rolle spielen.
Frühere technologische Revolutionen wirkten hauptsächlich tiefgehend auf fünf oder zehn Bereiche. KI beeinflusst gleichzeitig noch mehr Bereiche, daher löst sie Begeisterung und Sorgen aus, aber auch Angst.
Ich habe zusammen mit einigen Co-Autoren ein Papier mit dem Titel „Shaping AI’s Impact on Billions of People“ geschrieben, das diskutiert, wie KI das Leben von Milliarden Menschen beeinflusst.
Es ist mein einziges Paper mit einer eigenen Website, weil ein Co-Autor shapingai.com erstellt hat.
〔Anmerkung: shapingai.com ist die Website eines Forschungsprojekts von Jeff Dean und anderen über die gesellschaftlichen Auswirkungen von KI, das untersucht, wie KI Bildung, Gesundheitswesen, Wissenschaft und andere Bereiche besser dienen kann.〕
Wir haben 7 Bereiche untersucht, darunter Arbeit und Wirtschaft, KI in der wissenschaftlichen Forschung, Desinformation und Medien, und haben uns mit Experten aus diesen Bereichen ausgetauscht, um zu verstehen, welche Auswirkungen KI bereits hat und welche Veränderungen möglich sind. Das war eine sehr wertvolle Erfahrung.
Mir ist am wichtigsten, wie man die Vorteile von KI in den verschiedenen Bereichen bestmöglich verwirklichen und gleichzeitig ihre möglichen negativen Auswirkungen verringern kann. Das erfordert die gemeinsame Mitwirkung von Technologen, Regulierungsbehörden, politischen Entscheidungsträgern und der Öffentlichkeit.
Zum Beispiel brauchen Menschen, deren Arbeit betroffen ist, Wege, sich an die neuen Anforderungen anzupassen, weiterhin bezahlte Arbeit zu erhalten und ein wohlhabendes Leben zu führen. Das ist eine Frage, die viele Aspekte berührt und die viele Menschen gemeinsam lösen müssen.
Ratschläge für junge Menschen
李飞飞:Eine letzte Frage. Viele wissen nicht, dass du dich sehr um die junge Generation kümmerst. Wir stehen nicht oft zusammen auf der Bühne; ich erinnere mich, dass das letzte Mal auf der Grace-Hopper-Konferenz war.
Jeff Dean:Du bist mehrere Jahre in Folge hingegangen.
李飞飞:Jetzt befinden wir uns auf einem Universitätscampus. Diese Generation von Studierenden ist besorgt wegen Arbeit und wirtschaftlicher Perspektiven, und dasselbe gilt für die Studierenden in Stanford.
Als KI-Pionier und als jemand, der technologische Veränderungen früh zu sehen bekommt, was möchtest du diesen Studierenden sagen, die zugleich besorgt und hoffnungsvoll sind?
Jeff Dean:Ich kann diese Besorgnis nachvollziehen. Die Welt verändert sich schnell, und es ist tatsächlich schwierig, bei einer sich rasch verändernden Zukunft zu planen.
Mein Rat ist, sich möglichst gut über neue Technologien zu informieren, die gerade entstehen oder sehr bald entstehen werden, und zu lernen, sie für das einzusetzen, wofür man sich am meisten begeistert.
Vielleicht möchtest du Ärztin oder Arzt werden, literarisch schreiben oder Software effizienter entwickeln. KI kann in allen diesen Fällen helfen.
Menschen müssen weiterhin entscheiden, was wir gemeinsam tun wollen. Du solltest dir auch klar machen, was du selbst tun möchtest, und danach streben, dein Bestes zu geben – dazu gehört auch, die bereits vorhandenen Werkzeuge gut zu nutzen.
李飞飞: Also, im Zeitalter der KI wird die Begeisterung der Menschen dennoch nie out sein.Danke, Jeff.
Jeff Dean: Danke.
Link zum Interview: