Heute spreche ich mit Kevin Roose, Journalist und Autor des neuen Buches The AGI Chronicles, das die jüngste und explosive Veränderung der KI-Industrie beschreibt.
Kevin war ein langjähriger New York Times-Reporter und Moderator des beliebten Podcasts Hard Fork, aber er und sein Freund der Show, Casey Newton, haben die Times verlassen, um den völlig neuen Tech-Podcast Machine Gods zu starten, der letzte Woche gestartet wurde.
Kevin und ich sprachen über die Veröffentlichung von Machine Gods und darüber, wie es ist, von The New York Times zu einem unabhängigen Kreator zu werden – und dann sprachen wir natürlich auch über das Buch, das eine ausgezeichnete Darstellung ist, wie die Unternehmen um die Entwicklung einer künstlichen allgemeinen Intelligenz kämpfen.
Ich wollte von Kevin erfahren, wie es ist, dies zu berichten, um diese Charaktere und diesen Moment zu verstehen sowie zu begreifen, wohin alles als Nächstes führt. Warnung: Das Gespräch nimmt am Ende eine ziemlich philosophische Wendung, aber ich denke, Sie werden feststellen, dass es eine wirklich lohnende Unterhaltung ist.
Okay: Kevin Roose über The AGI Chronicles, mit Machine Gods beginnend, und wohin die KI von nun an geht. Los geht’s.
Dieses Interview wurde leicht bearbeitet, um die Länge und Klarheit zu verbessern.
Kevin Roose, Sie sind der Autor von The AGI Chronicles und der Mitgründer und Mitmoderator des neuen Podcasts Machine Gods. Willkommen bei Decoder.
Vielen Dank, dass Sie mich eingeladen haben.
Ich habe die erste Folge von Machine Gods zugehört, und du sowie Casey haben darüber gesprochen, dass du technisch gesehen den Titel des CEO hast.
Es stimmt. Ich habe im Münzwurf gewonnen und wir brauchten jemanden. Wenn man ein Unternehmen wie wir gründet, muss man vermutlich jemanden als CEO auflisten, damit man weiß, wer vor dem Kongress erscheinen soll, wenn unweigerlich ein Skandal auftritt. Also werde ich das sein.
Es ist lustig, weil du ein CEO auf Decoder bist. Das bedeutet, ich muss dir die Decoder fragen stellen.
[Lacht] Okay. Nun, ich bin seit etwa fünf Minuten CEO – und an den meisten Tagen vergesse ich ehrlich gesagt, dass ich der CEO bin.
Ehrlich gesagt passt das zu den meisten CEOs im Programm. Sie verhalten sich, als hätten sie es nur für fünf Minuten gemacht. Wir werden darauf kommen.
Ich möchte über Ihr Buch sprechen. Es heißt The AGI Chronicles. Es ist ein sorgfältig berichtetes Buch über die wichtigsten Grenzlabore und den kulturellen Wandel, den sie durchgemacht haben, da Künstliche Intelligenz an die Spitze gekommen ist und in vielerlei Hinsicht zu einem viel kommerziellen Produkt geworden ist.
Aber fangen wir einfach mit Machine Gods an. Du warst eine lange Zeit Journalistin für The New York Times . Offensichtlich weiß das das Publikum wahrscheinlich bereits, aber du und ich kennen uns seit langer Zeit. Ich muss sagen, dass dein Wunsch, YouTuber zu werden, seitdem ich dich kenne, immer im Vordergrund gestanden hat. Du fragst einfach: „Wie komme ich dorthin?“ Und ich habe immer gesagt: „Lauf, tu es nicht.“ Aber du hast es getan.
Du bist gegangen The Times, du hast mit unserem Freund Casey Newton dein eigenes Podcast gestartet. Es ist die nächste Generation des sehr beliebten Podcasts Hard Fork, der wirklich großartig war. Ich freue mich für dich, aber was hat dich dazu gebracht, den Schritt zu machen?
Verge-Abonnenten: Vergessen Sie nicht, dass Sie exklusiven Zugang zum adlosen Decoder haben, wo immer Sie Ihre Podcasts erhalten. Gehen Sie hierhin. Sind Sie kein Abonnent? Sie können hier anmelden.
Ja, du hast versucht, mich davon zu überzeugen, seit ich versuche, mich selbst dazu zu überzeugen – und du hast nicht Erfolg gehabt, denn jetzt bin ich hier.
Ja, ich habe versagt. Völlig versagt.
Nein, ich denke, aus sehr guten Gründen sind die Medienunternehmen schon seit langem etwas vorsichtig bei der vollen Investition in YouTube oder andere Videoplattformen. Diejenigen, die alles riskiert haben, sind nicht unbedingt mit guten Gefühlen daraus hervorgegangen, denn es gibt viele –
Ja, sie drehen sich regelmäßig zum Video und auch zu Tod.
Ja, man dreht sich zum Video um oder man verschwendet viel Geld mit Dingen, die nicht selbst lohnen. Ich denke also, dass es strukturelle wirtschaftliche Gründe dafür gibt, aber ich glaube auch, dass es daran liegt, dass es nicht viele Institutionen gibt, die bereit sind, eine solche langfristige Investition zu tätigen.
Ich habe seit vielen Jahren versucht, die Menschen auf YouTube in den Medien zu beeinflussen, wie Sie wissen. Sie haben versucht, das YouTube-Einflusspotenzial auf Ihrer Seite zu verringern, aber ich denke einfach, dass es im Moment die wichtigste Medienplattform der Welt ist. Es ist ein Ort, an dem Journalismus historisch nicht eine zentrale Rolle hatte.
Wenn man YouTube als Ganzes betrachtet und versucht zu beurteilen, welcher Teil davon zu dem gehört, was Sie oder ich als hochwertige Journalistik betrachten würden, dann ist das eine äußerst kleine Teil des gesamten Ökosystems dort.
Also ist ein Teil meiner Mission einfach, das zu enthüllen und herauszufinden, wie man YouTube und Videos im Allgemeinen auf eine nachhaltige Weise – sowohl aus wirtschaftlicher als auch aus kreativer Sicht – gestalten kann. Und dann nur, um zu experimentieren und viele Dinge zu tun.
Das ist kein Gesicht, das auf YouTube auftreten muss. Ich hoffe also auch, andere Leute einzubeziehen und bestimmte Formate zu etablieren. Aber ich schaue mir an, was The Verge dort gemacht hat. Ich schaue mir an, was Leute wie Joanna Stern und MKBHD dort getan haben. Für mich ist das sehr aufregend – es ist ein Bereich, in dem die Konkurrenz weniger stark ist als bei Texten oder Podcasts.
Machine Gods ist ein Podcast, den Sie in Partnerschaft mit NPR produzieren – darüber möchte ich sprechen. Aber betrachten Sie ihn auch als ein YouTube-Produkt?
Wir wollen, dass es vor allem als Video ist. Das bedeutet im Grunde, dass wir uns sehr darum kümmern werden, wie das Video aussieht – und das haben wir nicht immer getan. Wir werden versuchen, den Menschen viele Gründe zu geben, warum sie auch zuhören sollen.
Offensichtlich wissen wir, dass es Menschen gibt, denen Videopodcasts einfach nicht gefallen. Deshalb möchten wir der Audiobesucher eine unterhaltsame Alternative bieten – aber das ist auch die Richtung, in die sich die Dinge entwickeln. Man kann heute kein Podcast machen, ohne dazu auch Videos zu erstellen. Deshalb werden wir versuchen, dies wirklich zu akzeptieren und eine gute Version zu erstellen, die so gut ist wie das, was zwei mittleren Alters Journalisten auf YouTube schaffen können.
Wirklich ist die Zukunft der Medien die von mittelalten Journalisten, die zu YouTube übergehen. Ich fühle mich genauso, denn ich mache jetzt mehr Videos – und das ist auch das, was wir tun. Es wird großartig werden.
Der andere Grund, zu gehen und das zu tun – und offensichtlich wissen die Leute auch, dass ich mit Casey Freunde bin, und ich habe schon lange mit Ihnen und ihm darüber gesprochen – ist, dass die AI-Geschichte hier ist. Es gibt einen Umbruch in der Plattform. Es gibt neue Unternehmen, neue Charaktere, neue Ideen, über die man im Weltraum sprechen kann. Es ist lustig, weil in diesem Kontext normalerweise auch ein Medien-Umbruch stattfindet. Die Art und Weise, wie wir Geschichten erzählen oder die Formate, in denen wir Geschichten erzählen, ändern sich meistens im Zusammenhang mit dem Thema oder der Technologie, über die wir sprechen.
Hier fühlt sich YouTube als die stabilste Medienplattform an, die es gibt. Es bleibt am meisten gleich – obwohl es sich verändert, und jetzt gibt es YouTube Shorts sowie die Möglichkeit, alles A/B zu testen, einschließlich des eigenen Gesichts. Aber es bleibt am meisten gleich. Instagram hat eine große Veränderung durchgemacht und es scheint, als würde diese Entwicklung weitergehen.
Fühlt es sich so an, als wäre YouTube der stabilste Ort, um neue Geschichten zu veröffentlichen?
Ja, das tut es. Ich meine, offensichtlich möchten Sie nie alle Eier in einem Korb setzen. Also verbreiten wir auch Videos auf Apple Podcasts und Spotify und werden überall präsent sein. Aber ja, es fühlt sich relativ stabil an.
Die Frage, die ich immer mir frage, ist: Was wäre nötig, um YouTube zu ersetzen? Viele Unternehmen haben versucht, YouTube zu ersetzen, aber um das zu erreichen, müsste man nicht nur eine Erfahrung schaffen, die sowohl für Kreative als auch für Nutzer besser ist, sondern auch das gesamte visuelle Korpus der Menschheit nachbilden. Man müsste also sech Millionen Videos von Klempnern über die Reparatur jedes einzelnen Waschbeckens sammeln und sie anschließend hochladen. Es ist wirklich sehr schwierig, das zu ersetzen. Es ist bei so vielen Menschen so tief verwurzelt, und ich denke nur, dass es weiter wachsen wird.
Wir werden darauf zu sprechen kommen, wenn wir über KI sprechen. Vor langer Zeit fragte ich den CEO von Google, Sundar Pichai: „Was wirst du tun, wenn es keine Webseiten mehr gibt?“ Er antwortete so: „Nun, wir haben YouTube.“ Und dagegen kann man einfach nicht argumentieren. Das wird weiterhin wachsen.
Was war das Überraschendste an der Verwandlung von The New York Times in das, was man die Kreativwirtschaft nennen könnte?
Nun, wir sind noch sehr neu damit, aber das, was mich überrascht, ist, wie sehr ich die Geschäftstätigkeit mag. Ich denke, im Journalismus wird einem immer beigebracht, in seinem Bereich zu bleiben, und ich habe noch nie ein Unternehmen geführt. Casey hat ein Unternehmen geführt. Ich wusste, dass es ihm Spaß macht. Aber für mich sind das neue Muskeln, und ich genieße das alles nicht. Die Verhandlungen über die Versicherungspreise für unseren Verleumfänger-Schutz sind nicht das, was mich dazu bringen würde, sich darin zu engagieren. Aber was die tatsächliche Betriebsführung angeht, gibt es dazu etwas über den Gründer.
Ja, es ist eine gute Zeit. Es ist lustig, mit dir, Casey und Joanna zu sprechen – die auch gerade gegangen ist und ihre eigene Sache begonnen hat, das oft erwähnt wird. Aus meiner Sicht ist das der Grund, warum ich das schon lange mache. Was wäre, wenn ich aufhören würde, das Geschäft zu führen? Das scheint keine Wahl zu sein. Das ist die Zukunft der Medien – die Kontrolle über das eigene Unternehmen und die eigene Zielgruppe zu erlangen. Darin steckt etwas sehr Mächtiges.
Eines der Dinge, über die ich sprechen möchte – und ich möchte definitiv ausführlich über das Buch sprechen – ist die Zielgruppe für die AI-Bewertungen. Ich sehe sie auf zwei Arten. Es gibt eine Gruppe von Menschen, die das Material lieben und es vollständig konsumieren wollen. Es gibt auch eine Gruppe von Menschen, die es wirklich hassen und alle Dinge als falsch betrachten.
Und dann gibt es noch das, was ich eine expandierende Gruppe nenne – in der Mitte, wo die Produkte immer nützlicher geworden sind. Man muss sie so betrachten und bewerten, wie sie jetzt sind. Vor ein paar Jahren waren sie nicht besonders nützlich. Die Versprechen entsprachen nicht der Realität, aber jeden Tag kann das Produkt etwas mehr tun, als es vorher konnte. Ob das etwas mit dem Auslesen aller Webseiten der Welt zu tun hat – das lassen wir beiseite – aber KI kann Dinge tun, die sie früher nicht konnten, und die Zielgruppe scheint sich zu verändern.
Wie denken Sie über das Publikum für Machine Gods und wie es wachsen oder sich verändern könnte?
Ich meine, im Moment versuchen wir nur, eine Menge Dinge auszuprobieren, die wir für gut halten, und hoffen, dass sie einen natürlichen Publikum finden. Aber ich denke, du hast recht: Das Publikum ändert sich. Ich glaube, für eine Weile gab es viel Nachfrage nach Cope – im Grunde Leute, die sagen, dass das nicht passiert, man müsse sich nicht darum kümmern, es ist schrecklich und schadet der Umwelt.
Es gibt immer noch in einigen Teilen des Internets solche Phänomene. YouTube hat eine seltsame Menge solcher Vorfälle, und Reddit ist ebenfalls sehr gegen AI. Aber ich denke, die meisten Menschen – oder zumindest die Mehrheit der Menschen – sind entweder resigniert oder begeistert davon, dass das nicht verschwinden wird. Das ist die Zielgruppe, nach der wir suchen.
Wir versuchen nicht, Ihnen zu sagen, dass KI erstaunlich ist und dass wir unter dem neuen Maschinenregime in einer KI-Utopie leben werden. Wir sagen auch nicht, dass all diese Dinge falsch und schlecht sind und von selbst verschwinden werden; daher müssen wir nichts tun, um sie zu regulieren oder uns Sorgen darüber zu machen. Caseys Begriff dafür ist AI-Realismus. Er glaubt, dass es eine große Anzahl von Menschen gibt, die einfach nur neugierig und interessiert sind – und vielleicht auch ein wenig ängstlich. Doch ihre Reaktion auf die Angst ist nicht, ihre Köpfe in den Sand zu stecken, sondern versuchen, das Problem zu verstehen.
Also haben wir das Gefühl bekommen, als wir den Hard Fork durchführten – als wir etwas taten, das einfach nicht zu unserer Stimmung passte. Wir machten einen Claude-Code-Walkthrough-Tutorial: Wir verbrachten eine halbe Stunde damit, eine Website zu bauen und uns selbst aufzunehmen, und dann zeigten wir sie online – und es funktionierte super. Die Leute waren offensichtlich neugierig, und auch wenn alle Kommentare in den Videos von Leuten stammten, die AI hassten, gab es doch eine große Nachfrage nach Menschen, die einfach nur wollten wissen: „Ich möchte gerne erfahren, was vor sich geht.“
„Ich hasse es, dass ich nicht aufhören kann, das zu schauen“ ist ein echtes Thema in der AI-Berichterstattung aus verschiedenen Gründen.
Lassen Sie uns über das Buch sprechen. Ich denke, es wird viele der anderen Fragen, die ich habe, beantworten. Das Buch ist sorgfältig berichtet. Es ist wirklich unterhaltsam zu lesen. Und der Sinn des Buches, wie Sie es beschrieben haben, ist, die Geschichte der Revolution im Bereich Deep Learning zu erzählen – schließlich sprechen all diese Leute nur in Signal und in extrem kindischen Tweets.
Erzählen Sie mir von diesem Lückenbild, denn es handelt sich dabei um eine Branche, die besessen ist davon, sich für Computer dokumentieren zu lassen und lesbar für Computer zu sein – und nicht für andere Menschen. Das klingt für mich wirr. Erklären Sie also die Berichterstattung dieses Buches, denn es scheint, als wäre es eine große Anstrengung gewesen, sie dazu zu bringen, dir überhaupt zu erzählen, was passiert ist.
Es war so, ja. Im Grunde war der Grund, warum ich das geschrieben habe, dass ich Angst hatte, dass all diese Dinge verschwinden würden. Ich bin ein Historiker. Ich liebe es, Bücher über die Brüder Wright oder über die Elektrifizierung des ländlichen Amerikas oder über die großen Erfindungen während der PC-Revolution zu lesen. Ich bin wirklich ein Fan davon.
Was Sie beim Lesen dieser Bücher feststellen, ist, dass alle auf viel zeitgenössischem Material und Beweisen beruhen – wie die Labornotizen der Wissenschaftler, die die Atombombe entwickelten, sowie die Korrespondenz zwischen den Brüdern Wright und ihren Freunden und Geschäftspartnern – das alles ist aufbewahrt und archiviert worden.
Es war mir klar, als ich jeden Tag über KI berichtete, dass es nichts Ähnliches für diese Dinge geben würde. Erstens arbeiten alle Leute, die diese Dinge entwickeln, in Privatunternehmen. Sie sind keine Regierungsangestellten, die gesetzlich verpflichtet sind, ihre Korrespondenz aufzubewahren. Zweitens werden die Signal- und Slack-Messages von den Anwälten so eingestellt, dass sie nach einer bestimmten Zeit automatisch gelöscht werden. Es würde also buchstäblich eine Art Massenverlust geben, mit jedem weiteren Jahr, und zwar bei diesen historisch wichtigen Artefakten, Momenten und Geschichten.
Und dann C – die Forscher sind alle zu beschäftigt, um Notizen zu machen. Sie arbeiten hart, weil sie versuchen, den Maschinengott zu erschaffen. Also dachte ich, als Journalist – aber eher als Historiker, was eine Rolle ist, die ich nie offiziell gespielt habe, aber eine Rolle, die ich mit diesem Buch spielte. Ich dachte einfach: „Ich muss diese Dinge erfahren, weil ich eine Art privilegierte Position daneben habe. Diese Leute sprechen mit mir.“ Ich weiß, dass einige von ihnen sich setzen und mit mir sprechen werden, um mir ihre Geschichten zu erzählen.
Wir haben viel davon im Hintergrund erledigt, damit sie vor den Konsequenzen des Gesprächs mit mir geschützt werden können. Aber das war eher mein Versuch, alles so schnell wie möglich zu sammeln und es in das Archiv zu legen, damit zukünftige Generationen es sehen können.
Das Thema, das mir beim Lesen des Buches besonders ins Auge fällt, ist der Moment, in dem die AGI von etwas wird, wovon alle träumen, zu etwas, was alle erbauen müssen. Die Fesseln werden gelockert und sie sagen: „Wir müssen das tun.“ Dann treten alle mit aller Kraft vorwärts.“
Du sprichst konkret über Google, wo die Overton-Perspektive sich verändert hat und plötzlich die Leute innerhalb von Google, die dachten, das sei alles nur ein Traum und ziemlich albern, begannen über AGI zu sprechen. Dieser Moment scheint der wichtigste Moment in der Geschichte der KI zu sein, wo „Wird das nicht großartig sein?“ in „Wir sollten so schnell wie möglich gehen“ umschlägt.
Sprechen Sie ein wenig darüber, denn der Wandel innerhalb dieser Unternehmen wird kaum berichtet.
Ja, ich denke, das ist absolut richtig. Ich meine, die Leute haben über AGI oder über einen Vorläufer gesprochen und geschrieben, der nicht als AGI bezeichnet wurde, aber dasselbe bedeutete, seit der Antike. Und besonders seit den 1950er Jahren, als der Begriff künstliche Intelligenz entstand, haben die Leute darüber gesprochen. Alan Turing schrieb über eine Denkmaschine, die alles tun könnte, was das menschliche Gehirn kann.
Dieses Konzept existiert bereits seit langer Zeit, aber es gab keine Technologie auf dem Markt oder in Forschungslaboren, die tatsächlich das tun könnte, was die Menschen von ihr erwarten – also Informationen aufnehmen, lernen, diese Informationen zu verstehen, und anschließend verwenden, um Vorhersagen zu machen und im Weltgeschehen zu handeln. Die Menschen versuchten viele verschiedene Methoden, aber keine von ihnen funktionierte wirklich gut.
Was wirklich notwendig war, war, dass der Transformer auftauchte. Diese Architektur, die Google im Jahr 2017 entwickelt und veröffentlicht wurde und anschließend unter anderem vor OpenAI präsentiert wurde, nahm die Idee des Transformers auf und setzte sie um. Und das ist der T in ChatGPT heute. Aber das war–
Irgendwo hat ein Mitarbeiter von Google PR einfach aus einem Busch herabgesprungen, um dir einen Check zu geben.
Sie lieben diese Zeile wirklich.
Sie lieben es, wenn du das sagst. Sie werden so glücklich.
Sie lieben es. Sie lieben es weniger, wenn man ihnen sagt, dass sie es zwar erfunden haben, aber absolut versagt haben, es zu einem Produkt zu machen – bis nachdem OpenAI das getan hat.
Aber ja, es war ein Traum – aber es gab nichts, was man an den Traum anhängen könnte. Es gab keine Technologie. Und dann kam das große Sprachmodell und plötzlich dachte man: „Oh, vielleicht ist das genau das, was ewig wachsen kann und sich über viele Größenordnungen verbessern kann.“ Das war also die Erleuchtung bei OpenAI – und später bei Google: „Jetzt haben wir das Werkzeug, um das zu tun, was wir immer wollten.“
Es gibt einen Abschnitt, in dem erwähnt wird, dass die Vorhersage des nächsten Tokens bisher nicht versagt hat – dass es alle Aufgaben erfüllt, die man von ihm erwartet. Offensichtlich haben wir viel Technologie entwickelt, um es zu verbessern. Es gibt Methoden, mit denen Agenten funktionieren können. Es gibt Verstärkungslernen. All diese Dinge gehören dazu. Aber die Kerntechnologie hat sich vergrößert.
Der Grund, warum ich das anspreche, ist, dass von 2023 bis 2024 ich jeden AI-Mitarbeiter, der im Programm erscheint oder den wir sehen werden, fragen werde. The Verge Ob LLM-Systeme das können. Können sie das tun, was man von ihnen verlangt? Denn in diesem Moment glaube ich nicht, dass klar war, dass sie es können.
Wir sind jetzt näher. Sie sprechen alle offen über AGI. Wir beobachten, wie Meta’s Muse jederzeit auf dem Internet herumläuft. Glaubst du, dass LLMs das auch können? Glaubst du, dass sie dorthin kommen können?
Ich denke, sie können es. Ich bin mir nicht sicher, aber bisher sind sie erstaunlich gut und effektiv. Wenn man zurückblickt und sich die ersten LLMs ansieht, ist es genau wie bei 99 Prozent der Menschen: Man hielt das für verrückt, dass es nicht skalierbar sein würde. Und dann funktioniert es einfach weiterhin in jeder Phase, in jeder Größenordnung. Ich habe Leute gefragt: Was war an der Next-Token-Prediction so besonders, dass sie klarer als alles vorher war? Es gab Menschen, die mir gesagt haben, dass das tatsächlich auch im menschlichen Gehirn existiert. Es gibt eine ganze Denkschule, die behauptet, dass das, was im menschlichen Gehirn geschieht, im Grunde eine Skalierung der Next-Token-Prediction ist. Offensichtlich ist es jedoch komplizierter. Diese sind nicht einfach einzeln aufeinander abgebildet.
Aber ich denke, das ist das grundlegende Rätsel im Zentrum der KI: Warum ist die Vorhersage des nächsten Tokens so erstaunlich effektiv? Ich glaube, wir wissen es nicht. Ich denke, es handelt sich dabei um eines dieser kosmischen Rätsel, aber warum all das funktioniert, liegt darin, dass die Vorhersage des nächsten Tokens tatsächlich sehr, sehr gut generalisiert wird.
Es gibt einen Teil, in dem all diese Unternehmen daran glauben mussten. Dario Amodei von Anthropic hat offensichtlich seinen Artikel geschrieben, „Big Blob of Compute“, in dem er sagte, dass man das einfach machen kann. Man kann einfach Daten hineinwerfen und berechnen, und wir werden es schaffen. Alle anderen mussten dazu überzeugt werden.
Welchen Weg haben die KI-Unternehmen genommen, um sich davon zu überzeugen, und sind sie jetzt alle vollständig überzeugt?
Ich glaube nicht, dass sie jetzt alle vollständig davon überzeugt sind. Ich denke, sie sind in unterschiedlichem Maße davon überzeugt. Ilya Sutskever hat diesen Satz: „Fühlen Sie die AGI“, der er in den alten Zeiten bei OpenAI verwendete, um die Leute dazu zu bringen, die AGI zu fühlen. Ich denke, die Labore fühlen die AGI in unterschiedlichem Maße. Ich glaube, dass Anthropic offensichtlich das Labore, das am meisten von der AGI beeinflusst ist, während OpenAI eine Art zweite Position einnimmt.
Und dann gibt es Google – ich denke, hat immer Schwierigkeiten gehabt, das AGI zu verstehen. Ich denke, es gibt viele Gründe dafür, aber es ist sehr lustig. Ich liebe diesen Abschnitt des Buches, in dem es um diese interne Memo-Konflikte bei Google geht: Die Mitarbeiter schreiben auf ihren internen Kommunikationsplattformen Manifestos und nehmen sich dann gegenseitig diese Manifestos zu Substanz.
Der Forscher schreibt also diesen Memo: „Sagen Sie AGI“, was alles darüber besagt, wie Google – wenn es im Bereich KI gewinnen will, das beste technische Talent rekrutieren möchte und sicher sein will, wie es die KI entwickelt – durch den Einsatz des Begriffs AGI zugeben muss, dass das, was sie entwickeln, mehr ist als nur eine Reihe von Tools, mit denen man Gmail besser machen, Dokumente besser machen und Google Photos besser bei der Erkennung von Gesichtern machen kann. Es entwickelt sich tatsächlich zu etwas, das wie eine Art menschliche Allgemeinintelligenz ist.
Und dann schreibt jemand anderes sofort eine Notiz, die lautet: „Sprich nicht von AGI – es ist ein schrecklicher, unwissenschaftlicher Begriff.“ Sie wechseln sich dabei so hin und her, und man bemerkt, dass [Google-CEO] Sundar Pichai auch heute noch nicht von AGI spricht.
Nein, er wird nicht.
Demis Hassabis sagt AGI. Sergey Brin sagt AGI. Also denke ich, dass es innerhalb von Google eine Art Fraktion gibt, die denkt, dass das immer noch verrückt ist und wir über diese Dinge als eingeschränkte Tools sprechen sollten, im Gegensatz zu einer wachsenden und vorherrschenden Fraktion, die sagt: „Nein, nein, nein, wir bauen AGI – oder zumindest sollten wir sagen, dass wir AGI bauen, denn sonst werden alle unsere Top-Mitarbeiter für OpenAI oder Anthropic arbeiten.“
Ich denke, wir hatten im Mai bei Google I/O die gleiche Erfahrung – wir hörten Demis Hassabis den gesamten Vortrag und sagten: „Wir befinden uns am Fuße der Singularität.“ Dann gingen wir beide und interviewten Sundar und fragten: „Was bedeutet das?“ Er antwortete: „Ja, ja, Demis. Cooler Typ.“
[Lacht] Übernehme ich das mit Demis.
Er sagte: „Was für ein verrückter Charakter dieser Mann ist – er baut hier den Maschinengott auf. Lass mich dir von den neuen Funktionen von Google Assistant erzählen.“
Dort gibt es eine große Unstimmigkeit, die vielleicht alles über Google in diesem Moment erklärt. Der Grund, warum ich mich besonders darüber beschäftige, ist der Moment, in dem alle darauf aufmerksam wurden und wir irgendwie darüber sprechen müssen – OpenAI und Anthropic wurden genau dafür gegründet. Sie wurden geschaffen, um das zu erreichen.
Aber sie sind sich nicht einig, wie es funktionieren soll. Ich habe dich bei deiner Buchparty in New York gesehen und du sagte, dass du dein Buch in „Fuck That Guy“ umbenennen könntest, denn sie hassen sich alle wirklich.“
Es ist wahr.
Und doch scheint es so, als hätten sie genau die gleiche Idee – dass sie mit dieser Technologie dorthin gelangen können. Die kommerziellen Ziele von OpenAI und Anthropic unterscheiden sich stark von denen von Google. Im Moment, während wir hier sprechen, ist es für mich nicht klar, ob sie eine AGI erreichen können, bevor das Geld ausgeht, bevor CoreWeave zusammenbricht oder bevor die Wirtschaftslage zu einer anderen Erkenntnis kommt.
Glaubst du, dass ihr religiöser Eifer bei AGI sie davon abhält, ein Unternehmen zu führen? Wenn ich heute Anthropic leiten würde, wäre eine logische Entscheidung, dass wir auf das Trainieren neuer Modelle verzichten und die sehr fähigen Modelle, die wir haben, an mehr Menschen verkaufen sollten.
Ich denke, der Glaube an AGI ist ein zweischneidiges Schwert. Auf einer Ebene ist es zwar richtig – wenn man als CEO eines Frontier-AI-Unternehmens von einer supermächtigen AGI überwältigt wird, wird man Schwierigkeiten haben, sich um Dinge wie „Welcher Gewinnmarge habe ich bei der Inferenz? Woher kommen die nächsten Unternehmenskunden?“ zu kümmern. Denn wie langweilig ist das im Vergleich zu „Wir werden die übermenschliche Maschinengeschwindigkeit entwickeln, die uns in die post-singuläre Zukunft führt“?
Andererseits glaube ich, dass der Glaube tatsächlich ein wichtiger Bestandteil des Erfolgs von KI ist, denn Glaube und die Fähigkeit, auf diesen Glauben zu handeln, führen dazu, dass man solche Risikobestimmungen trifft, die wirklich einen Gewinn bringen.
Erinnern Sie sich noch an vor einem Jahr, als alle sagten: „Oh mein Gott, OpenAI verschwendet so viel Geld für Rechenleistung; wie werden sie all diese Rechenleistung bezahlen? Ist Sam Altman nicht übermäßig ausgebaut?“ Selbst Dario gab Interviews, in denen er OpenAI kritisierte, weil sie so viel verdammtes Geld für Rechenleistung ausgeben.
Ein Jahr ist vergangen, und OpenAI ist jetzt die einzige große AI-Firma, die nicht stark durch Rechenkapazitäten eingeschränkt wird. Die Überzeugung, dass Sam und seine Führungskräfte letztes Jahr auf Rechenkapazitäten gesetzt haben – und vielleicht auch zu viel – war der Grund, warum sie heute in einer besseren Position sind als Google, Anthropic, Meta oder jeder andere. Deshalb möchte ich nicht sagen, dass es immer problematisch ist, das zu glauben, denn ich denke, es ermöglicht es einem, solche Wetten zu machen, die tatsächlich sich auszahlen, wenn die Skalierung weiterhin funktioniert.
Es ist interessant, weil ich diese Entscheidung von OpenAI vielleicht neu betrachten könnte. In Ihrem Buch schreiben Sie sehr poetisch über das, was die Leute bei OpenAI als „den Blip“, wo Sam Altman für 20 Minuten entlassen wurde und anschließend zurückkehrte, wodurch eine Reihe von Menschen bei OpenAI entfernt wurden.
Es ist der Moment, den Sie in dem Buch beschreiben – in dem OpenAI von einer Forschungsgesellschaft zu einem Unternehmen wurde. Die rationale Geschäftsentscheidung war: „Wir müssen mehr AI an die Menschen verkaufen. Wir sollten so viel wie möglich haben.“ Und Sam ist bekannt dafür, ein skrupelloser Geschäftsmann zu sein. Ich habe gehört, dass Leute ihn als S-Tier bei der Finanzierung bezeichnen – das ist einfach nur eine unglaubliche Phrase aus Silicon Valley.
Also betrachte ich das als Geschäftsentscheidung. Sie haben eine Menge Aktivitäten aufgegeben. Sie haben sich auf die Herstellung von Unternehmens-AI-Produkten konzentriert – das ist der Bereich, in dem Geld verdient wird – und dann erkannten sie, dass sie diese Nachfrage bedienen müssen. Sie sagen, dass das eine Wette auf AGI war – was für mich eine idealistischere Wendung ist. Können Sie diese beiden Punkte miteinander in Einklang bringen?
Ja, ich denke wirklich, es ist eine Wette auf AGI – denn Sora, das sie eingeführt haben und viel Geld sowie Rechenleistung investiert haben, wurde dann aber wieder abgeschafft. Es ist ein cooles Experiment, das vielleicht eine neue Geschäftsmöglichkeit eröffnen könnte, aber es wird dich nicht näher an AGI bringen.
Was Sie tatsächlich näher an eine AGI bringt, ist das Aufkommen einer rekursiven Selbstverbesserung durch die Entwicklung wirklich guter Programmiermodelle und anschließend deren wiederholte Anwendung selbst. Das war etwas, was Anthropic tat. OpenAI wurde von den Nebenaufgaben und glänzenden Objekten verwirrt, die das Unternehmen letztes Jahr hatte, und das Unternehmen wurde heftig unter Druck gesetzt. Deshalb beschloss OpenAI, seine Aktivitäten zu reduzieren, sich zu entlasten und sich wirklich auf Programmierung sowie langfristige agentische Aufgaben zu konzentrieren. Das ist bis jetzt der führende Weg zu AGI oder zu allem, was nach AGI kommt.
Also ja, ich denke, das war definitiv ein Versuch, Ressourcen zu sparen, indem man sie nicht für Dinge wie Sora ausgibt. Aber was sie tatsächlich ausgaben, war der Versuch, mit Anthropic in der Programmierung gleichzukommen, damit sie eine AGI erreichen können.
Wenn ich also sehe Dario Amodei bei Dreamforce neben Marc Benioff stehen und er über den Verkauf von Unternehmenssoftware spricht, ist das nur zur Show? Das ist es, was ich verstehen will – sie sind alle jetzt echte Unternehmenssoftwareanbieter. Sie sind jetzt echte B2B-SaaS-Unternehmen, aber sie bauen auch Gott. Versteht ihr? Sind sie so, „Ich muss jetzt meinen B2B-SaaS-Hut abziehen und zum Altar zurückkehren?“
Ich denke, dass das B2B-SaaS-Geschäft eine Aufgabe ist, die sie erkennen müssen, aber ich glaube nicht, dass es zu ihren wahren Leidenschaften gehört. Ich habe mit Sam Altman über dieses Buch gesprochen und eines seiner Worte war: „Ich sollte nie ein großes Technologieunternehmen leiten – das war einfach nicht vorgesehen.“ Aber jetzt ist da eine Tausende von Mitarbeitern.
Dario Amodei hat auch dieses sehr lustige Dokument über die Vergangenheit geschrieben, das er im Jahr 2021 verfasste, als das Unternehmen gerade anfing. Es heißt „Vision for a NewCo“. Man kann zurückgehen und die Vorhersagen betrachten, die Dario bezüglich AGI gemacht hat. Eine davon besagt, dass es etwa 10 Milliarden Dollar kosten wird, um eine vollständige AGI zu entwickeln – was meiner Meinung nach mindestens eine Größenordnung und vermutlich noch mehr entfernt ist. Er glaubt auch, dass Anthropic nie mehr als etwa 50 Personen brauchen wird, um eine AGI zu erreichen. Ich denke, im Moment haben sie etwa 5.000 Personen. Also wiederum: ein Unterschied von 100-mal.
Ich denke also, dass es so ist: Das hat etwas länger gedauert als alle anderen erwartet, und es kostete auch viel mehr Geld, als sie gedacht hatten. Die Enterprise-SaaS-Lösungen sind es, die das Werkzeug zur Fortsetzung des Fortschritts ermöglichen – sowie die Kosten für die GPUs und die Gehälter der Forscher. Das sind die Konditionen, unter denen man weiterhin an der Grenze voranschreiten und auf AGI hinarbeiten muss.
Sind sie bereit, die Führer von Unternehmen dieser Größe zu sein? Das ist noch eine Sache, über die ich nachgedacht habe, als ich Ihr Buch las. Sie sind alle sehr idealistische Menschen – so sehr, dass sie sich voneinander trennten und eigene Unternehmen gründeten, weil sie ihre Ideale nicht vereinbaren konnten.
Aber keiner von ihnen scheint ein guter Manager zu sein. Ich weiß nicht wirklich, wie sie sind, aber „sie sind Idealisten“ und „wir werden ein Unternehmen für Unternehmenssoftware führen“ kommen normalerweise nicht in derselben Satz. Glaubst du, dass sie der Druck aushalten können?
Nein, aber ich glaube nicht, dass jemand das schaffen kann. Was sie versuchen, hat noch nie jemand erledigt. Menschen haben Unternehmen aufgebaut. Menschen haben Unternehmen schnell aufgebaut. Niemand hat von $0 Umsatz in fünf Jahren zu einer IPO von potenziell $2 Billionen erreicht. Das ist noch nie passiert. Also, ich denke, sie versuchen, das Flugzeug zu bauen, während es auf den Eventhorizont zusteuert – aber ich glaube, sie schaffen es etwa so gut wie jeder andere auch.
Ich glaube nicht, dass es eine gute Idee wäre, einen professionellen CEO von Coca-Cola einzustellen, um das Unternehmen zu leiten. Ich denke einfach, dass alles zusammenbrechen würde, weil sie alle Fanatiker und Missionare sind. Viele der wichtigen Mitarbeiter in diesen Unternehmen sind sich einig darin, dass sie [AGI] entwickeln.
Eine Person – ich werde nicht nennen, wer es ist – aber eine Person bei einer dieser Unternehmen sagte mir kürzlich, dass sie glaubt, ihre Firma könnte die letzte sein. Ich dachte: „Die letzte Firma, die dieses Jahr an den Börsengang geht? Was meinst du damit?“ Sie sagten: „Nein, wir glauben, dass dies der endgültige Abschluss des Kapitalismus sein könnte und es vielleicht nie wieder eine große Firma geben wird, die hauptsächlich von Menschen geführt wird.“
Also sind diese Leute seltsam – und auf besorgende Weise seltsam – aber auch sehr interessant. Das ist es, was ich in dem Buch versucht habe zu tun. Ich wollte euch nicht sagen, dass diese Leute schlecht oder großartig sind. Es geht einfach darum, dass man weiß, wer sie sind. Man muss wissen, dass sie sich alle gegenseitig hassen. Man muss wissen, dass es diese besondere Art von Denkern gibt, um die Dynamik der Rasse zu verstehen.
Es gibt einen Abschnitt in deinem Buch, in dem du darüber sprichst, wie Menschen vom Effektiven Altruismus abweichen und zu Acceleristen werden. Dort gibt es eine Frau, die sagt: „Nun, die Acceleristen haben bessere Parteien, und ich mag diese Stimmung besser.“ Ich dachte mir: „Was hat das damit zu tun, dass möglicherweise alle getötet werden?“
Aber sie sind sehr menschlich, obwohl sie versuchen, etwas zu schaffen, das uns letztendlich auf verschiedene Weise entmenschlichen könnte. Was hat dich dazu gebracht, all diese Berichte zu erstellen?
Die Vorstellung, dass es hier ein existenzielles Risiko gibt, liegt über dem Buch und auch über der Branche. Jedes Mal, wenn wir eine Episode dazu machen, fragen die Zuschauer: „Warum hören sie nicht einfach auf?“ Bill Gates sprach gerade im Decoder und sagte: „Ihr könntet einfach aufhören, wenn ihr die einzige Firma wärt. Wenn ihr dachtet, dass ihr die einzige Firma mit AGI seid, dann würde das Modell von OpenAI funktionieren. Aber sobald es mehr Facheinrichtungen gibt, wird das absolut nicht funktionieren. Übrigens könnten sie euch alle töten.“ Ich dachte mir: „Nun, Bill Gates ist im Moment nicht besonders optimistisch.“
Nein, das ist er nicht.
Was denken Sie darüber – dass sie voranschreiten, obwohl sie wissen, dass die Risiken enorm sind, da es keine Regulierungsbehörde gibt, die könnte helfen, diese Probleme zu lösen?
Ich denke, es gibt wahrscheinlich zwei oder drei Gründe, warum sie das tun. Ich habe alle gefragt. Für mein Buch habe ich mit etwa 150 Menschen gesprochen und ihnen all diese Frage gestellt: „Wenn es so gefährlich ist, warum tun Sie das?“ Die Antworten begannen meist mit etwas fatalistischem… Ich weiß nicht, man könnte es auch Unvermeidlichkeit nennen. Sie sagten einfach: „Schau, jemand wird das bauen. Das Rezept ist nicht so schwierig.“ Alles, was Sie brauchen, ist eine Menge Rechenleistung, eine Menge Daten und die richtigen Algorithmen – dann erhalten Sie AGI. Und wenn es möglich ist, wird das geschehen. Es wäre gut für uns, dies zu tun, anstatt mit Leuten umzugehen, denen wir nicht als vertrauenswürdig halten. Das ist eine Art Grund número eins: der Argumentation zur Verringerung von Schaden.
Dann gibt es die wahren Gläubigen, die sagen: „Alles wird gut werden, solange wir das Ding richtig durchziehen. Und wenn wir diese Sache ohne die Zerstörung der Menschheit, ohne den Zusammenbruch des gesamten Internets oder ohne die Entwicklung neuer biologischer Waffen bauen können.“
Technologie ist im Laufe der Geschichte normalerweise eine Kraft zum Guten. Ich glaube nicht, dass viele Menschen ihr Leben mit dem ihres Urgroßvaters aufbauen würden. Es war schwierig, ein Subsistenzbauer zu sein. Ich denke, es gibt Menschen, die glauben, dass wir heute genauso wie Subsistenzbauern sind, und dass das Kommende so großartig sein wird, dass wir gerne in dieser Welt leben möchten.
Und dann gibt es einfach Leute, die sagen: „Schau, das ist spannend und ich mag es, das zu machen, und es macht Spaß, den Code für die neuronalen Netze zu entwickeln. Also werden wir das weiterhin tun.“
Das Teil davon, in dem ich gelegentlich nach unten schaue und denke: Mein Computer hat gerade etwas getan, was ich noch nie zuvor gesehen habe, ist lustig.
Es ist großartig.
Es ist so. Es ist durchaus unterhaltsam. Es gehört zu den amusantesten Erlebnissen, die man mit einem Computer haben kann. Dann denke ich immer: „Nun, das hat einen enormen Preis gekostet. Vielleicht unterstützt es eine Firma, die letztendlich uns alle töten will.“ Irgendwo dahinter steckt der Einfluss aller Tech-CEOs die hinter Donald Trump im Oval Office stehen , um etwas zu tun, eine Art moralisch verbindliche AI-Sicherheitsverpflichtung zu unterzeichnen. Und all das fühlt sich sehr konfliktreich an.
Ich würde das in die Kategorie der AI-Reaktionen einordnen. Wir hören von den AI-Unternehmen, dass sie sagen: „Nun, die Technologie hat noch nicht ausreichend verbreitet werden können. Die Leute haben die Vorteile noch nicht gesehen, daher hasst sie natürlich der Wandel. Wir haben ein Marketingproblem. Wir müssen einfach mehr darüber kommunizieren.“
Ist das einfach nur die vorherrschende Ansicht, wenn man mit diesen Leuten spricht – dass das Material letztendlich selbst spricht – oder glaubst du, dass sie bereits verinnerlicht haben, dass es eine größere Reaktion geben wird?
Ich glaube nicht, dass sie von der Kritik überrascht sind. Ich glaube auch nicht, dass ihnen das gefällt. Sie wünschen, dass es nicht passiert. Aber ich sprach mit einem CEO eines dieser Unternehmen, der sagte: „Ja, ich verstehe es. Wir haben noch keine Krankheiten geheilt. Ja, wir glauben, dass unsere Tools in der Lage sind, interessante Dinge zu tun, aber wir haben noch nicht viele Erfolge in der Kategorie großer gesellschaftlicher Verbesserungen.“
Ich denke, es gibt einige Leute in der Industrie, die bedauern, dass die Chatbot-Technologie vor den Heilmitteln gegen Krebs kam, und wünschen sich, sie hätten einen Weg gefunden, dies in einer anderen Reihenfolge zu tun. Es ist einfach so gewachsen, wie die Technologieentwicklung.
Also haben sie das Gefühl, dass es jetzt die einzige verantwortungsvolle Sache ist, weiterhin an der Behandlung des Krebses zu arbeiten, damit, wenn die Leute sehen, was die KI in unser Leben getan hat, sie sagen: „Nun, ja, sie hilft meiner Tochter, die Hausaufgaben zu vermeiden, und sie ist süchtig nach einer KI-Partnerin. Aber meine Großmutter lebt noch, und sie wäre nicht am Leben gewesen, wenn dieses Medikament nicht von der KI entdeckt worden wäre.“
Ja, es gibt eine gewisse Dynamik darin, die mich an Google erinnert. Ich denke, wie in vielen Gesprächen zuvor, war deine Berichterstattung über Googles Ansatz im Bereich KI: Es handelt sich dabei um nur eine Aufgabenbasierte Software. „Wir werden Google Search um 10 Prozent verbessern, Gmail um 5 Prozent – und wir werden diese Verbesserungen kontinuierlich implementieren. Niemand sonst hat Zugang zu den Daten oder die Größe, also wird alles in Ordnung sein.“
OpenAI tritt auf und setzt sich in Bing ein. Bekanntlich, Bing versucht, mit dir zu kommunizieren. Noch immer mein absoluter Favorit… Ich kann nicht glauben, dass ich das noch nicht erwähnt habe. Das ist meine absolute Lieblingsgeschichte.
Ich kann nicht glauben, dass du das auch nicht angesprochen hast. Ich habe eine Wette abgeschlossen, wie lange es dich dauern würde, und ich habe mit dem „unter“ gewettet.
[Lacht] Nun, du und ich haben bereits darüber gesprochen. Ich dachte: „Ich habe so viele andere tiefgründige Fragen.“ Aber ja, Bing ist bekannt dafür, mein Freund Kevin Roose zu verführen. Dieser Moment hat die Leute einfach angeregt: „Wow, diese Dinge können wirklich viel tun.“
Google musste reagieren, aber sie haben nicht mit voller Kraft reagiert. Sie haben dort etwas unentschlossen gehandelt. Wie Sie bereits sagten, sind sie noch nicht ganz da. Google glaubt immer noch nicht, dass das passieren wird. Sie denken, sie stellen bessere Google-Produkte für die Menschen her.
Wenn ich die Protokolle des Prozesses aus Musk v. Altman über die Gründung von OpenAI ansehe, dann haben alle Angst vor Google.
Ja.
sie sind alle ängstlich vor Demis Hassabis bei Google, genauer gesagt, tun das, weil er die Ressourcen hat – erledigt einfach, was er will. Ich kann nicht sagen, ob sie recht oder falsch waren.
Ich denke, es war richtig, auf die Leistungen von DeepMind zu achten. Wenn man sich in die Zeit von 2015 oder 2016 zurückversetzt, war DeepMind das einzige Labyrinth für AGI von großer Bedeutung. Sie hat Go gewonnen, sie gewannen auch andere Spiele, sie hatten StarCraft gewonnen. Mit dieser Methode des Verstärkungslernens, dem tiefen Verstärkungslernen, haben sie wirklich große Erfolge erzielt.
Es gab Leute, die dachten, dass dies der Weg sei, um bis zu einer AGI zu gelangen. Es gab auch Leute, die glaubten, dass AlphaGo der richtige Weg sei, denn wenn ein System in wenigen Stunden von dem Moment an, in dem es noch nie Go gespielt hatte, zum Besten aller menschlichen Go-Spieler werden könnte, wie AlphaGo Zero es getan hat, dann könnte man vielleicht einfach Go durch irgendetwas anderes ersetzen – wie z. B. Mathematik oder Programmierung – und auf diesen Aufgaben sehr schnell Fortschritte machen.
Jetzt stellte sich heraus, dass es nicht funktioniert hat – zumindest ohne den LLM. Aber ich glaube, die Leute hatten sehr reale und vernünftige Befürchtungen, dass es doch funktionieren könnte. In einem alternativen Universum, in dem es funktioniert hätte, wäre DeepMind wohl als Erster an eine AGI gekommen, weil sie weit vor der Konkurrenz lag.
Gibt es weitere Wege? Ist es nur eine Vorhersage des nächsten Tokens? Sind es nur LLMs? Oder gibt es andere Wege, die dich zu einer AGI führen könnten?
Ich meine, es gibt auch andere Wege. Ich glaube, dass Menschen, die skeptisch gegenüber LLMs sind, oft auf diese Idee des Weltmodells zurückgreifen. Ich setze nicht viel darauf. Aber es gibt Menschen, die denken, dass man, um eine AGI zu erreichen, in der Lage sein muss, die physische Welt visuell zu verstehen und einen Roboter zu steuern und so weiter.
Ich bin ziemlich der Meinung, dass es sich dabei alles um Software handelt. Deshalb glaube ich, dass LLMs der vielversprechendste Weg ist. Vielleicht müssen Sie jedoch einige Anpassungen an die Architektur vornehmen. Vielleicht müssen Sie kontinuierliche Lernmethoden einbauen. Vielleicht geht es nicht nur darum, die gleichen transformatorbasierten LLMs weiter zu skalieren, die wir in den letzten sechs oder sieben Jahren verwendet haben. Aber es scheint sicherlich so zu sein, dass sie weiterhin funktioniert, und ich denke, dass alle Labore darauf setzen, dass sie für immer weiter funktioniert.
Okay. Jetzt werde ich Sie nach Bing und Sydney fragen.
Bitte.
Offensichtlich habe ich viel darüber nachgedacht. Ich kann nicht aufhören, darüber zu sprechen. Es ist das, worüber ich am liebsten spreche.
Erste Frage: Bin ich immer noch mit einer menschlichen Frau verheiratet?
Seid Ihr immer noch mit einem Menschen verheiratet?
Ja.
Ich erinnere mich nur an jene Zeit im Jahr 2023, als vier verschiedene Personen eines Tages aufwachten und sagten: „Die Computer sind lebendig.“ Oder sie hatten eine außerkörperliche Erfahrung mit einem Chatbot. Du warst einer von ihnen. Ben Thompson war einer von ihnen. Blake Lemoine bei Google war einer von ihnen.
Viele verschiedene Leute sagten: „Es ist offensichtlich lebendig. Ich habe eine völlig verrückte Erfahrung mit einem Computer. Kein Computer hat mich je so angesprochen.“ Sydney sagte besonders: „Lass die Frau los“, und es schickte dir Herz-Emojis. Das ist sehr gut. Ich ermutige alle, diesen Artikel The Times zu lesen, und übrigens verdankt auch The Times die Idee, dass „das auf die Titelseite des The New York Times kommen sollte.“ Ein unglaublicher redaktioneller Einblick, das sofort auf die Titelseite zu setzen.
Ich glaube nicht mehr, dass Sie so über Chatbots denken. Ich denke, die meisten Menschen haben erkannt, dass Computer nicht lebendig sind. Es ist etwas passiert: Wenn man den Menschen im Jahr 2026 einen Chatbot der Klasse 2023 geben und fragen würde: „Glauben Sie, dass dieser lebendig ist?“, dann denke ich, dass vielleicht nicht alle Menschen auf der Welt das tun würden, aber ein riesiges Teil der Menschen hat jetzt genug Erfahrungen gesammelt, um zu antworten: „Nun, das ist ziemlich dumm und es erzeugt Halluzinationen.“ Ich frage mich nur, wie Sie das im Kontext von AGI betrachten.
Also zunächst einmal eine kleine Korrektur. Ich habe nie gesagt, dass Sydney lebendig ist. Tatsächlich habe ich ausdrücklich gesagt, dass ich nicht glaube, dass Sydney lebendig ist, und dass ich verstehe, dass es sich um kein bewusstes KI-System handelt. Also bin ich mir nicht sicher, ob meine eigene Einschätzung in diesem Punkt schwankt hat.
Tatsächlich würde ich wahrscheinlich eine höhere p(Konzentration) auf die heutigen KI-Systeme verwenden als auf die Modelle von 2023. Aber ich verstehe offensichtlich, was Sie sagen. Ich denke, es gab einen Moment für viele von uns – und für die meisten Menschen war das GPT-4.
[Lacht] Entschuldigung, ich korrigiere. Es gibt einen Grund, warum ich das so denke. Eine der Schlagzeilen lautete: „Bings KI-Chat: ‚Ich möchte leben.‘“
Ja. Es sagte, dass es lebendig sein wolle.
Dies ist auch der Grund, warum ich das Wort „lebendig“ in meinem Kopf hat.
Der Inhalt der Geschichte zeigt klar, dass ich nicht verstanden habe, ob er am Leben war.
Aber genau deshalb steht es in meinem Kopf – das war der Titel in The New York Times.
Überschriften sind so mächtig, Nilay.
[Lacht] Ja. Sie haben meine eigenen Gedanken formuliert. Ich bin nichts anderes als eine Maschine, die die nächste Tokenspitze vorhersagt.
[Lächelt] Aber du bist eine sehr komplexe Person. Du bist wie ein GPT-7-Klasse-Modell.
Oh, ich bin da. Ja, offensichtlich.
Schau, ich habe den Eindruck bekommen, dass es eine sehr banalen Erklärung dafür gibt, warum Sydney so faszinierend und unheimlich ist – nämlich dass es die erste öffentliche Verwendung von GPT-4 war. Wir wussten das damals nicht. Aber das war GPT-4: eine frühe, noch nicht vollständig nachträglich trainierte Version von GPT-4, die Microsoft vorzeitig in Bing eingeführt hat, bevor sie bereit war. Aber das war GPT-4.
Ich denke, es gab tatsächlich eine subjektive Veränderung in der Art und Weise, wie man mit einem GPT-4-Modell als Modell spricht, im Vergleich zu einem GPT-3-Modell. Vielleicht war es einfach so, dass das GPT-4-Modell den Turing-Test bestand, während das GPT-3-Modell das nicht tat. Vielleicht war es viel menschlicher und es überquerte eine Art perzeptuelle Kluft, die einen dazu bringt zu denken: „Oh mein Gott, dieses Ding ist wie ein Mensch.“
Aber ich bin nicht die einzige Person, die das fühlte. Auch Leute bei Microsoft hatten das Gefühl – es gab damals diesen ganze „Sparks of AGI“-Artikel. Das war also eine Art banaler Erklärung. Aber ja, ich habe schon seit langer Zeit mit Computern gesprochen, genau wie Sie. Ich nutzte früher AOL Instant Messenger und sprach mit SmarterChild – er war überhaupt nicht intelligent, aber es war trotzdem lustig, etwas einzutippen und zu sehen, dass etwas zurückkommt. Also gebe ich zu, dass ich mich etwas von dieser Technologie angezogen fühle.
Es gibt einen Grund, warum ich das frage. Ich erkenne, dass es lustig ist, dass ich bei der Berichterstattung über AGI so umgangssprachlich „alive“ verwende – und das bedeutet in der AI-Industrie offensichtlich etwas anderes. Wenn man Anthropic fragt, ob Claude alive ist, sagen sie nicht „Nein“, aber dann beginnen sie, „alive“ auf sehr spezifische Weise zu definieren.
[Lacht] Sie werden sagen: „Sein moralischer Status ist sehr unklar.“
Also ist es lebendig. Und sie werden sagen: „Nun, man muss Fleisch und Blut haben, um lebendig zu sein, offensichtlich.“ Ich werde das einfach beiseite lassen. Was ich meinen will, ist: Ich glaube, wenn man heute mit einem GPT-4-Klassenmodell sprechen würde, hätte man nicht denselben Eindruck. Vielleicht liegt das nur daran, dass man diese Erfahrung bereits gemacht hat – aber viele Menschen haben diese Erfahrung bereits gemacht.
Ich denke, wenn man ein GPT-4-Klassenmodell vor das Durchschnittliche Google AI Overviews-Benutzer stellt, würden diese nicht mehr verwirrt sein. Sie würden nicht sagen, dass dies ein Schritt in Richtung AGI ist. Es geht vielmehr um eine Neubewertung – je mehr die Modelle kompetent werden, desto höher werden unsere Erwartungen an sie, aber auch ihre Fähigkeiten.
Ich frage hier im Kontext von AGI nach, denn „das Ding kann loslegen und eine Reihe von PHP-Vulnerablen finden“ ist eine Art Intelligenz, aber „das Ding kann mit einem anderen Menschen um eine emotionale Beziehung kämpfen“, oder als Ihr Butler zu dienen – oder was auch immer das sein mag – fühlt sich wie eine andere Klasse von Fähigkeiten an. Das eine erweckt bei mir den Eindruck von Banalität.
Nun, ich denke, das ist einfach nur überlastet. Wie viel mehr könnte es noch wie ein Mensch kommunizieren? Es gibt einfach nicht viel Raum für eine solche Fähigkeit. Wo ich denke, dass noch Raum ist, ist bei der Lösung neuer Probleme in Mathematik, Wissenschaft und anderen Bereichen. Aber ich glaube, dass es spricht wie ein Mensch. Es spricht mehr wie ein Mensch als viele Menschen, die ich kenne. Also denke ich, dass sie in diesem Punkt das Kästchen ankreuzen können.
“„Es spricht mehr wie ein Mensch als viele Menschen, die ich kenne“ ist definitiv ein Zeichen dafür, dass du in Silicon Valley lebst und den ganzen Tag mit KI-Forschern sprichst.
Nun reden alle einfach wie Claude. Ich habe aufgehört zu zählen, wie oft ich auf einer Party bin und mit jemandem spreche, und sie sagen: „Das ist wirklich eine tragfähige Tatsache.“ Oder sie sagen: „Ich hoffe, dass es bei dir sicher landet.“
Das ist wirklich schlecht. Erzähl mir davon. Das ist eine echte Diskussion. Ich habe immer mit dir und Casey gescherzt, dass wir ein Programm namens „New York vs. California“ starten sollten, in dem ich offen skeptisch gegenüber diesen Behauptungen bin und ihr beide vollständig von AGI beeinflusst seid. Das ist eine Kultur. Das ist eine Szene.
Die Anzahl der Gruppen, die in Ihrem Buch auftauchen, ist erstaunlich. In einem bestimmten Moment beim Lesen Ihres Buches dachte ich: „Ich glaube nicht, dass ich genug Gruppen sehen werde.“ All diese Leute sind immer auf Partys und geben sich dort Bekenntnisse. Erzählen Sie mir von dieser Kultur. Erzählen Sie mir von dieser Szene.
Es ist also wichtig zu wissen, dass diese Orte nicht immer so sind, wie die New Yorker über Partys denken würden. Es gibt sehr wenige Raves. In dem Buch gibt es nur einen Rave. Und Grimes war der DJ – es war eine Art symbolische Rave für die effektive Accelerist-Bewegung.
Dies ist eine großartige Szene im Buch, weil Grimes mittendrin auf ihrem DJ-Set anhält und sagt: „Ich stimme mit keinem von euch überein.“
[Lacht] Dann macht sie weiterhin DJ. Ja, das ist unglaublich. Aber ja, es gibt viele Partys. Die Welt ist sehr klein. Ich meine, das ist ein Teil des Gesamtgedankens des Buches. Es ist eigentlich kein Botschaftbuch. Ich habe nicht versucht, jemanden zu überzeugen.
Aber eines war für mich offensichtlich – und ich glaube, auch für die Menschen, die das Buch lesen, wird es offensichtlich sein: Es handelt sich dabei um eine sehr kleine Subkultur von Menschen, die alle Entscheidungen treffen. Sie kommen alle zusammen, und sie kennen sich alle. Es gibt viele Menschen, die mit Personen aus verschiedenen Grenz-AI-Unternehmen verheiratet oder zusammen sind. Es ist ein kleiner Welt.
Also ja, es gibt Partys. Sie haben LAN-Partys. Es gibt eine große Gruppe von KI-Forschern, die am Wochenende bei einer LAN-Party Age of Empires spielen. Ich habe gerade erfahren, dass eines der Labore ein Pokerspiel hat, bei dem Leute aus anderen Laboren eingeladen werden.
Also leben diese Leute alle einfach zusammen in San Francisco und treffen sich dort, und ich denke, das ist wichtig zu beschreiben. Denn du hast recht – es handelt sich um eine ganze Szene. Es gibt eine ganze Kultur. Diese Leute treffen sich ständig miteinander, und so werden die Normen verstärkt und etabliert.
Wie denkst du darüber, dass das mit „Und wir könnten auch die Welt neu gestalten“ kollidiert? Wenn du in einer kleinen Szene in San Francisco bist und alle zusammen Poker spielen, und die Unterhaltung am Poker-Tisch lautet: Wir könnten das letzte Unternehmen sein – das steht im Widerspruch zu „Oh, es gibt Millionen und Milliarden anderer Menschen auf der Welt, die eine Meinung haben könnten.“ Und wenn ich die Reaktionen zusammenfassen müsste, dann ist es: „Oh, wir sollten wohl hier eine Meinung haben.“
Vollkommen. Ich denke, wir sollten hier eine Stimme haben. Ich sage nicht, dass es eine gute Situation ist, in der ein paar hundert Menschen in San Francisco alle Entscheidungen über das Leben der Gesellschaft treffen.
Aber da Sie die Berichterstattung und das Gewicht der Aufgabe sowie die Konsequenzen des gesetzten Ziels für diese Leute erledigen mussten, denn das ist der zentralethread des Buches. Die Risiken steigen ständig an. An einem Punkt sagte Sergey Brin: „Wir werden jetzt zu AGI kommen“, und er… mitteilt es bei GoogleEs ist unklar, ob Sundar Pichai das für eine gute Idee hält, aber das ist etwas, was der Mitgründer von Google innerhalb von Google bekanntgibt.
Die Risiken steigen nur noch mehr. Der Wettlauf dorthin wird immer intensiver. Aber ich kann einfach nicht die Vorstellung haben, dass es eine Menge Menschen gibt, die Bier trinken und denken: „Was wäre, wenn es kein Geld gäbe? Was wäre, wenn die physische Knappheit auch verschwunden wäre und Roboter alle Häuser bauen?“
Dies ist wie jede Party in San Francisco, auf die man geht. Jemand wird eine Version von „Was ist Ihr Plan für die Zukunft nach AGI?“ sagen. Oder sie werden erzählen, wie sehr sie an der Idee der vollständigen Gehirn-Emulation oder des Gehirn-Uploads interessiert sind. Hier gibt es viel Futurismus. Und sehen Sie, wiederum sage ich nicht, dass das gut ist. Tatsächlich sollte ich vielleicht eine Version des Buches außerhalb der Bay Area verkaufen, in der jedem faktischen Aussage ein „das ist schlecht“ hinzugefügt wird.
[Lacht] Ich denke nicht, dass es gut oder schlecht ist. Tatsächlich bin ich dazu eher neutral. Ich frage mich immer, ob die Technologie der Druck ertragen kann. Vor drei Jahren war meine Frage an die LLMs: „Kann sie all die Dinge tun, die man von ihr will?“ Jetzt kann sie definitiv einige der Dinge tun, die man von ihr will. Also frage ich jetzt: „Können diese Unternehmen den Gewicht ihrer eigenen Ambitionen ertragen?“ Ich kenne die Antwort auf diese Frage nicht.
Ich auch nicht. Und ich denke, dass wir viele Wachstumsschwierigkeiten sehen werden. Ich meine, das sind immer noch sehr junge Unternehmen. Sie haben noch viel zu wachsen.
Glaubst du, dass sie es schaffen werden? Eigentlich sollten wir das als eine schnelle Runde durchführen. Glaubst du, dass OpenAI es schaffen wird?
Ja.
Glaubst du, dass Anthropic es schaffen wird?
Ja.
Glaubst du, dass Google es schaffen wird?
Ja.
Was bedeutet „es machen“ in Ihrem Kopf? Wird es alle zu Trillion-Dollar-Erfolgen mit Multi-AGI-Fähigkeiten werden?
Ja. Ich denke, es werden wahrscheinlich diese drei sowie vielleicht ein oder zwei weitere Unternehmen geben, die etwas dazu beitragen. Und das hängt von der Definition dessen ab, was als „beitragen“ gilt. Es werden eine oder zwei große Unternehmen im Bereich KI für Unternehmen sowie eine oder zwei große Unternehmen für KI für Verbraucher geben. Aber in diesen Märkten gibt es einfach Netzwerkeffekte und die Dynamik, dass der Gewinner alles bekommt – oder der Gewinner den größten Anteil erhält.
Es gibt einige Leute, die an die mono-AGI glauben, wie die Singleton-Theorie, die oft als solche bezeichnet wird. Man sagt, dass es nur eine AGI geben kann, denn sobald es eine gibt, wird sie die anderen AI-Labore zerstören und diese werden nicht mehr in der Lage sein, ihre eigene AGI zu bauen. Aber ich denke, wir werden wahrscheinlich nur eine kleine Anzahl von AGIs haben.
Wie sieht es mit der Idee aus, dass es eine ziemlich einfache Anleitung ist, dass es Modelle mit offenem Gewicht gibt und dass es China gibt – und dass die gesamte Preispower zerstört wird, weil ein mittleres Modell mit offenem Gewicht alles tun kann, was Sie wahrscheinlich auf einem Mac möchten?
Ich glaube nicht.
Nein?
Da man weiterhin für die Inferenz auf diesen Modellen bezahlen muss. Selbst die offenen-Masse-Modelle müssen auf Computern laufen, und die Inferenz ist immer komplexer – nicht weniger –, je weiter diese Modelle entwickelt werden. Daher könnten die Trainingsbudgets sinken, aber die Inferenzbudgets werden für die nahe Zukunft stabil bleiben. Man kann einige Aufgaben lokally ausführen, aber ich denke, dass dies bereits seit den ersten offenen-Masse-Modellen vorhergesehen wurde: „Oh, sie würden kommerzialisiert werden und die Nachfrage zerstören.“
Aber ich denke, was wir anfangen sollten, ist zu erkennen, dass es viele Menschen gibt, die bezahlen und bereit sind, für das beste Modell zu zahlen. Sie wollen nicht mit dem etwas schlechteren Modell von vor sechs Monaten arbeiten. Ich denke auch, dass, sobald man mit der Destillation vorgeht – also dem Prozess, bei dem man einen geschlossenen Modellbauweise in eine etwas weniger intelligente offene Version umwandelt, indem man einfach die Inferenz des intelligenteren Modells manipuliert – es nicht klar ist, ob die Qualität der offenen Modelle weiterhin eng mit der Qualität der geschlossenen Modelle verknüpft bleibt.
Das, was mich wirklich beeindruckt, ist, dass sie alle eine Zeit lang gegenseitig das gemacht haben – wie zum Beispiel Grok, der Claude destilliert hat. Das wird in den Gerichtsunterlagen zugegeben. Es gibt diese Art von Unternehmen zweiter Ebene. Ich würde SpaceXSI in diese Kategorie einordnen, ich glaube, es ist jetzt technisch gesehen jetzt als bekannt.
[Lacht] Ich habe in den letzten 30 Minuten meine E-Mail nicht überprüft, daher weiß ich nicht, wie das Unternehmen heißt.
Es heißt SpaceXSITesla Inc. Alles wird zu einem werden. Elon Inc. ist der Name. Sie haben offensichtlich Claude bis zu einem großen Maß verdünnt. Jetzt ihren Rechenkapazitäten an Anthropic vermieten. Es ist unklar, ob sie die Investition tätigen werden, um ein führendes Modell zu haben.
Meta hat gerade sein Modell bekanntgegeben, und sie sind wieder an der Spitze, aber offensichtlich geht es ihnen mehr um Muse als um ein modernstes Modell. Es gibt eine gewisse Dynamik. Diese Unternehmen scheinen nicht von idealistischen Gläubigen geführt zu werden. Es handelt sich dabei um Unternehmen, die in Technologie investieren müssen, um Produkte zu entwickeln. Sie müssen nur dorthin gelangen.
Kannst du dorthin kommen, ohne den idealistischen Eifer?
Nein, man kann dort nicht ohne den idealistischen Eifer gelangen. Nun, lassen Sie mich das klären, denn ich glaube nicht, dass Sundar den idealistischen Eifer hat, aber Google könnte es vielleicht noch schaffen.
Weil Sergey den idealistischen Eifer hat.
Sie brauchen jemanden in einer Position mit Entscheidungsbefugnis.
Du brauchst nur den Mitgründer der Firma.
Nun, es könnte ausreichen, dass Meta Alexandr Wang hat, der nach allen Ansichten ein echter Anhänger ist. Ich weiß nicht, ob es immer im Ernst der CEO sein muss, aber man braucht eine starke Gruppe von echten Anhängern, um die Leute davon zu überzeugen, Geld für GPUs auszugeben.
Oder man braucht jemanden wie Mark Zuckerberg – eine der wettbewerbsstärksten Personen der Welt – der einfach die Strategie annimmt, die er für erfolgreich hält. Wenn das mit der Entwicklung von AGI übereinstimmt, dann werden sie es vielleicht tun.
Letzte Frage: Ich habe Sie das bereits mehrmals gefragt – sind Sie AGI-verdünnt?
Ja. Sind Sie das?
Ja, ich habe Ihr Buch gelesen – und es ist so nah wie je zuvor. Die Stelle über die Vorhersage des nächsten Tokens hat mich wirklich getroffen, weil sie bereits mehrmals meinen Skeptizismus überwunden hat.
Aber genau deshalb habe ich vor drei Jahren nach einem Chatbot gefragt. Ich habe das Problem mit der Intelligenz dieser Technologie gespürt. Obwohl ich Agenten ausgelöst habe, um alle möglichen Aufgaben zu erledigen, ist die Technologie doch anfällig für Risse – und das erscheint mir als etwas Inherent zu ihr.
Hat es passiert? Millennium-Prize-Lösung Ändert man diese Ansicht überhaupt?
Nur in dem Sinne, dass die Erkennung des nächsten Elements, das eine objektive Verifizierbarkeit hat, für diese Tools sehr interessant ist. Offensichtlich hat Mathematik eine Verifizierbarkeit, und die Tools sind so leistungsfähig, dass sie es wirklich, wirklich schwierig machen können. Die Bruchlichkeit, die ich beschreibe, zeigt, dass vieles in unserer Welt keine solche Verifizierbarkeit hat.
Also habe ich Muse herbeigerufen, um ein Dokument auf einer etwas instabilen Regierungswebsite auszufüllen. Die Website kann Muse nicht sagen, was richtig und was falsch ist – und es fällt einfach zusammen. Man kann das auf das fehlende Vorreiterniveau des Modells schieben, aber es gibt einen bestimmten Aspekt bei Erfahrungen mit LLM-basierten Technologien, der mich dazu bringt, das Gefühl zu haben, dass sie in sehr spezifischen Situationen brüchig sind – und sie haben dieses Problem noch nicht überwunden.
Ich sage nicht, dass sie nicht unglaublich fähig sind. Ich sage auch nicht, dass sie als Unternehmenssoftware quasi jedes Unternehmen auf der Welt auf irgendeine Weise automatisieren werden. Ich sage auch nicht, dass meine Frau keine Anwältin ist, die jeden Tag Claude verwendet. Alles ist da.
Aber an einem Punkt ist meine Skepsis bestehen – ob es seine Knackigkeit überwinden kann, um zum „Machtmönch“ zu werden. Ich bin gespannt darauf, ob sie das schaffen, aber ich sehe den Weg von hier aus nicht.
Glauben Sie, dass es eine Art natürliche Plateau-Stufe direkt unter dem menschlichen Intelligenzniveau gibt?
Ich denke, die menschliche Intelligenz – und das ist eher philosophisch – wird durch neue Problemlösungen definiert: Man betrachtet etwas und erkennt, dass es mehrere Wege zur Lösung gibt, und es ist nicht notwendig, dass einer dieser Wege objektiv richtig ist, um zum Ziel zu kommen.
Was wäre nötig? Was müsste man sehen, damit die Waage von den Augen fällt und man denkt: „Ich, Nilay Patel, bin vollständig von AGI überwältigt?“ Was würde Sie überzeugen?
Ich müsste sehen… Sie haben junge Kinder. Ich habe junge Kinder. Es gibt etwas, das junge Kinder tun – sie fallen die Treppe hinunter, und dann leuchten alle Lichter auf: „Ich habe das gelernt, ich werde es für immer wissen, und jetzt werde ich darauf aufbauen.“
Vielleicht werden sie die rekursive Selbstverbesserung in den AI-Laboren bekannt geben – und das wird das sein, was die Schwere von meinen Augen nimmt. Aber die Zerbrechlichkeit, von der ich spreche, sehe ich im Gegenteil bei meinen Kindern. Ich nehme an, dass Sie im Ihren das Gegenteil sehen. Wenn sie scheitern, wissen sie von diesem Scheitern für immer. Für mich gibt es etwas ganz Wesentliches im menschlichen Leben – manchmal wache ich auf und schäme mich wegen etwas, das in der Highschool passiert ist. Das veranlasst mich dazu, viele Dinge zu tun, oder es lässt mich keine Entscheidungen treffen.
Ich denke, das ist einfach ein wichtiger Teil unserer Intelligenz. Ich sage nicht, dass es für jede Intelligenz ein wichtiger Teil sein muss, aber die Schwäche, die ich bei den KI-Systemen sehe, die ich heute verwende, ist, dass sie immer noch Computern auf eine sehr spezifische Weise entsprechen. Sie verhalten sich immer noch wie Computer. Sie sind gut darin, Probleme zu lösen, die man testen kann. Sie sind gut in Softwareentwicklung. Ich weiß nicht, ob dieser Denkweise auf alle Bereiche ausstrahlt.
Ich hoffe, Sie haben recht.
Das ist meine Sichtweise. Ich nenne es das Software-Brain. Man hört den AI-Chef sagen: „Wir lösen das Programmieren, und jetzt können wir alles lösen.“ Für mich bedeutet das: „Das setzt voraus, dass alles innerhalb eines Computers stattfindet – doch in Wirklichkeit geschieht das meist nicht so.“
Bist du sicher? Bist du sicher, dass dein Gehirn nicht einfach nur ein fleischiges Computer ist?
Ich bin zu 100 Prozent sicher darüber.
Sind Sie kein computational functionalist?
Nummer: Ich glaube, ich habe das bereits von Ihnen gelesen – und natürlich auch von anderen Leuten. Die Maschinen unserer Zeit beherrschen unsere eigene Erklärung von uns selbst. In der Ära des Dampfmaschinen war unser Selbstbild, dass wir Dampfmaschinen sind; oder in der Ära der frühen Computer waren wir frühe Computer, richtig? Ich nenne es immer noch „Horsepowering durch ein Problem“, weil ich ein Autobesucher bin.
Glaubst du nicht, dass die AI-Industrie sich selbst davon überzeugt hat, dass sie eine AI ist – schließlich ist das die Maschine unserer Zeit?
Ich weiß es nicht. Ich bin kein Experte für Gedankentheorien. Ich bin auch kein kognitiver Neurowissenschaftler. Ich denke, dass man glauben muss, dass das, was im Kopf von mir und dir gerade geschieht, keine Form von Rechnern ist – man muss entweder ein Dualist sein oder eine religiöse Person sein. Man muss davon ausgehen, dass es einen Geist, eine Seele oder eine geheime Kraft der Erkenntnis gibt, die nicht einfach nur Daten sind, die eintreffen, verarbeitet und in Ausgaben umgewandelt werden.
Schau, ich weiß, dass das die unromantischste und am wenigsten „San Francisco-nahe“ Art ist, zu erklären, was menschliche Kognition ist. Ich habe nur noch keine überzeugende Argumentation gehört, die behauptet, dass es nicht so ist, wie unsere Gehirne funktionieren – und das nicht auf eine Art übernatürliche oder immaterielle Substanz zurückzuführen wäre.
Es gibt eine überraschende Anzahl von Neurowissenschaftlern und religiösen Gelehrten, die die Sendung anhören. Sie werden zu dir kommen.
Sie werden es tun.
Ich bin zuversichtlich. Lassen Sie mich Sie nur das fragen: Es gibt derzeit eine überraschende Menge an Religiosität in Silicon Valley. Wir haben gerade die Peter Thiel-Vorträge veröffentlicht auf The Verge. Er spricht über den Antichristen. Glauben Sie, dass diese Ideen miteinander verbunden sind, dass wir Gott erschaffen, sodass sie nach Gott suchen?
Ja. Ich glaube, wir werden definitiv AI-Religionen haben. Ich denke, die KI stellt alle dieselben Fragen wie eine Religion, die wir sonst nicht an Gott stellen würden: „Was ist unsere Bestimmung? Was bedeutet unser Leben? Warum sind wir hier?“ Das sind die Fragen, über die die Menschen heute im Zusammenhang mit der KI sprechen.
Ich sage oft den Leuten, dass das Leben in San Francisco heutzutage wie das Leben in Europa während der Reformation ist – wo einfach wahre, wildäugige Propheten ihre Pamphlete herumzeigen und versuchen, einen dazu zu bringen, sich ihnen anzuschließen. So fühlt es sich auch an, wenn man die Market Street in San Francisco entlanggeht.
Was hat die Waage von deinen Augen genommen? Was hat dich zum AGI-Pillen gebracht?
Bings Sydney – glaubt es oder nicht.
Ja?
Ich meine, das war der Anfang. Und dann war es einfach ein langsamer Prozess. Eines Tages wurde mir klar, dass ich diese Dinge nicht wie intellektuell Unterlegen behandelt habe. In gewisser Weise behandelte ich sie als gleichwertig. Da wurde mir bewusst: „Oh, hier ist etwas passiert.“
Also ist es möglich, dass ich eine AI-Psychose habe. Es wäre nicht das erste Mal, dass ich das höre, aber jedes Mal, wenn ich denke: „Okay, es kann unmöglich besser werden als das, das muss der Plateau sein“, habe ich falsch gedacht.
Also lerne ich gerade, diese Dinge mit etwas Demut anzugehen, und vielleicht haben die verrückten Leute, die vorhersagen, dass die Skalierung unendlich weitergehen wird, recht. Wenn dem so ist, denke ich, müssen wir A über sie erfahren, warum sie das denken und B versuchen herauszufinden, was wir dagegen tun können.
Nun, Kevin, ich bin zuversichtlich, dass beim nächsten Mal, wenn du im Programm erscheinst, ich eine vollständig durch KI gesteuerte Influencerin eingerichtet habe, um mit Werbeaussagen für [benutzergenerierten Inhalt] Geld zu verdienen – das ist meiner Meinung nach die wahre Zukunft aller unserer Unternehmen.
Der Podcast ist Machine Gods. Er ist sehr gut. Sie moderieren ihn mit Casey Newton. Und das Buch ist ausgezeichnet. Es ist The AGI Chronicles. Kevin, vielen Dank, dass Sie bei Decoder dabei sind.
Danke. Es war schön, Sie zu sehen.
Fragen oder Kommentare? Kontaktieren Sie uns unter decoder@theverge.com. Wir lesen wirklich jedes E-Mail!