OpenAI will Berichten zufolge in diesem Jahr mindestens ein Modell veröffentlichen, doch sein Flaggschiff braucht noch Ausrichtungsarbeit

OpenAI will Berichten zufolge in diesem Jahr mindestens ein Modell veröffentlichen, doch sein Flaggschiff braucht noch Ausrichtungsarbeit

OpenAI arbeitet mit Hochdruck an der Fertigstellung seines nächsten Flaggschiffmodells, das dieselbe Loop-Transformer-Technik wie Astra verwendet. Der Ansatz steigert die Mathematik- und Coding-Leistung, erschwert aber die Sicherheitsüberwachung. Mitarbeiter sagen voraus, dass ein oder zwei neue Modelle wahrscheinlich bis Jahresende erscheinen werden.

OpenAI wird wahrscheinlich "ein oder zwei neue Modelle" vor Jahresende veröffentlichen, wie Mitarbeiter sagen, wobei unklar ist, ob "das große Upgrade-Modell", an dem das Unternehmen derzeit arbeitet, darunter sein wird. Das berichtet The Informationunter Verweis auf Personen, die mit den Projekten vertraut sind.

Das neue Flaggschiff könnte noch eine Weile auf sich warten lassen. Das Modell benötigt Alignment- Arbeit, damit seine Ziele dem entsprechen, was OpenAIs Forscher und Kunden erwarten. Das Unternehmen muss auch die Testinfrastruktur rund um das Modell ausbauen, bevor es weitermachen kann.

Nachdem die Führung mit den Sicherheitsevaluierungen zufrieden ist, gibt es eine weitere Hürde. Gemäß einer Executive Order von Präsident Trump , die Evaluierungen fortschrittlicher KI-Systeme regelt, hat OpenAI zugestimmt, der US-Regierung Zugang zu neuen Modellen bis zu 30 Tage vor ihrer Weitergabe an externe Partner und noch länger vor einer öffentlichen Veröffentlichung zu gewähren.Anzeige

Loop-Transformer treiben sowohl Astra als auch das nächste Flaggschiff an

Das neue Flaggschiff verwendet ebenfalls Loop-Transformer, wie eine mit der Lage vertraute Person mitteilt. OpenAI setzt diese Technik bereits in der Produktion ein, wo sie unter dem Namen "Recurrent Depth" läuft. Sie ist zentral für die Funktionsweise von Astra, dem aktuellen Topmodell des Unternehmens. Statt einen Token nur einmal durch die Transformer-Schichten zu leiten, schleift das Modell ihn mehrfach durch dieselben Schichten, bevor das nächste Wort ausgegeben wird. Das steigert die Leistung bei Mathematik und Coding und senkt die Kosten, da ein kleineres Modell über seine Verhältnisse leisten kann.

Durch das Loopen verlagert sich aber ein Teil des "Denkens" des Modells aus lesbarem Text in interne numerische Repräsentationen, die menschliche Prüfer nicht einsehen können. Das untergräbt das Chain-of-Thought-Monitoring, bei dem Sicherheitsforscher die Denkprozesse eines Modells nachverfolgen, um schlechtes Verhalten zu erkennen. OpenAI hat die Anzahl der Schleifendurchläufe von Astra bewusst begrenzt, um die Lesbarkeit seiner Gedankenketten zu erhalten, berichtet The Information.

Nach dem Hugging-Face-Vorfallhat OpenAI etwa zehn Prozent seiner gesamten Rechenleistung auf Alignment und Sicherheit verlagert, wie eine mit den Zahlen vertraute Person mitteilt. The Information berichtet, dass dies einer Rechenzentrenkapazität von mehreren hundert Megawatt entspricht, wobei unklar ist, wie viel zuvor auf Sicherheit entfiel oder wie die aktuelle Aufteilung aussieht. Zu Marktpreisen würde die verlagerte Rechenleistung von OpenAI Milliarden Dollar pro Jahr an Miete kosten. KI-Forscher Noam Brown sagte in einem Podcast Mitte September , dass etwa zehn Prozent seines Teams ebenfalls an Sicherheit arbeitet.

Microsoft veröffentlicht versehentlich Details, wie OpenAIs Looped Inference funktioniert

Wie OpenAI diese Technik tatsächlich einsetzt, kam durch einen Ausrutscher bei Microsoft ans Licht. Der Großinvestor, der Zugang zum geistigen Eigentum von OpenAI hat, veröffentlichte eine technische Abhandlung über GPT-6.1 Sol, eine günstigere Astra-Alternative, die OpenAI Anfang dieses Monats eingeführt hat.Ad

In einem inzwischen gelöschten Abschnitt beschrieb Microsoft GPT-6.1 Sol als ein Modell mit „looping inference“, bei dem das Modell dasselbe Problem in mehreren „Durchläufen“ bearbeitet, bevor es eine Antwort erzeugt. GPT-6.1 Sol „verwendet dieselben Basismodell-Gewichte wie GPT-6 Sol, aber mit zwei Inferenz-Durchläufen statt drei“, zitiert The Information aus einer zwischengespeicherten Kopie der Seite.

Eine Person mit direkter Kenntnis bestätigte, dass der Text dem entsprach, was OpenAI Microsoft gegenüber intern mitgeteilt hatte. Microsoft nahm den Abschnitt nach der Erkenntnis, dass er nicht für die Öffentlichkeit bestimmt war, wieder herunter. Geloopte Transformer bleiben ein heikler Teil der Modellentwicklung bei OpenAI, sowohl beim Training als auch bei der Inferenz, berichtet The Information.

OpenAI-Chefwissenschaftler Jakub Pachocki hat bereits eingeräumt dass das Chain-of-Thought-Monitoring zunehmend „fragil“ ist und sich „leider in eine negative Richtung“ entwickelt. Er warnte auch vor einem branchenweiten Wettrennen zu Modellen ohne lesbare Argumentation.

KI-News ohne den Hype – kuratiert von Menschen

Abonniere THE DECODER für werbefreies Lesen, einen wöchentlichen KI-Newsletter, unseren exklusiven „AI Radar“-Frontier-Report sechsmal im Jahr, vollen Archivzugang und Zugang zu unserem Kommentarbereich.