IT之家 Nachricht vom 8. Oktober: Gemäß Business Insider warnte der Forscher Jacob Coxon, der zuvor bei Anthropic und OpenAI tätig war, dass KI schon bald selbstständig Forschung betreiben könne und die Menschheit die danach folgende Entwicklung möglicherweise überhaupt nicht mehr kontrollieren könne.
Der 27-jährige Coxon arbeitete bei Anthropic an der Erforschung von Modellfähigkeiten und kündigte im vergangenen Monat öffentlich seinen Rücktritt an. Am 5. Ortszeit warnte er die New Yorker Stadtabgeordneten, dass KI das Überleben der Menschheit bedrohen könne.
Vor der Anhörung des New Yorker Stadtrats zu KI-Risiken sagte Coxon aus, das vorrangige Ziel der führenden KI-Frontier-Laboresei es, die KI-Forschung zu automatisieren. „In meiner letzten Arbeit habe ich in gewissem Sinne daran geforscht,wie KI mich selbst ersetzt. Bei OpenAI haben wir für den automatisierten KI-Forscher Zwischenziele um die Jahre 2027 und 2028 gesetzt; der Entwicklungsfortschritt entspricht den Erwartungen oder übertrifft sie sogar. Bis dahin sind es nur noch wenige Monate, nicht Jahrzehnte, nicht einmal fünf Jahre.“
Sobald KI selbstständig Forschung betreiben kann, wird das Ausmaß menschlicher Beteiligung und Intervention in der Forschung weit geringer sein als heute – und die heutige Lage ist bereits alles andere als ideal. Aus seiner eigenen Erfahrung besteht der Großteil des Codes bereits aus KI-geschriebenem Code, „und die Menschen prüfen den Code auch nicht mehr so sorgfältig.“
Coxon sagte den Abgeordneten aus, seine Arbeitserfahrungen bei Anthropic und OpenAI hätten ihn überzeugt, dass beide Unternehmen keine ausreichenden Sicherheitsvorkehrungen habenund dennoch die Forschung und Entwicklung vorantreiben. „Die Wahrscheinlichkeit, dass die Menschheit die Kontrolle verliert und KI die Kontrolle übernimmt, liegt bei mehr als der Hälfte, was letztlich zur Auslöschung der Menschheit führen könnte. Nach meiner Erfahrung sind die Konsequenzen so gewaltig, und dennoch agieren die beiden Unternehmen äußerst rücksichtslos.“
Als Coxon auf X seinen Rücktritt von Anthropic verkündete, beschuldigte er in einem Beitrag sowohl Anthropic als auch OpenAI, nicht verantwortungsvoll zu handeln undmit dem Leben der Menschen zu spielen. Der Beitrag verbreitete sich anschließend weit.
In der Anhörung forderte Coxon die KI-Labore auf, ihre Transparenz zu erhöhen und das Tempo der rasanten technologischen Entwicklung zu verlangsamen. „Diese Unternehmen folgen der Startup-Mentalität:erst schnell voranpreschen, Probleme später beheben. Bei einer Foto-Sharing-App mag das gehen, bei der Entwicklung der mächtigsten Technologie aller Zeiten jedoch nicht.“
Laut früheren Berichten von IT之家 warnte Coxon im September dieses Jahres bei seinem Rücktritt: „Die Leute, die KI entwickeln, glauben tatsächlich, dass KI alle von uns vor Ende der 20er-Jahre dieses Jahrhunderts töten könnte.Das ist kein Marketing-Gag。”
Verwandte Lektüre: