Claude hat kein Skorpion-Antivenin erfunden

Eine Investment-Research-Firma wollte beweisen, dass KI die Arzneimittelentwicklung revolutionieren kann. Deshalb arbeitete sie mit Anthropic zusammen, um zu prüfen, ob eine noch nicht veröffentlichte Version von Claude ein Skorpion-Antivenin entwickeln könnte. Das konnte sie nicht. Sie lieferte einige vielversprechende Ausgangspunkte, aber nichts, das auch nur annähernd einem echten Medikament entsprach, sagen Experten The Verge.

Citrini Research, die Firma hinter dem Experiment, räumte ein, dass „keiner von uns behaupten könnte, etwas über KI im Zusammenhang mit Biologie zu wissen“. Das hielt sie nicht davon ab, versuchen, ein Medikament von Grund auf zu entwickeln – oder einen Blogbeitrag mit dem Titel „We Wanted to Use Claude to Create a New Drug. Here’s What Happened.“ zu veröffentlichen. Der Bericht enthielt rhetorische Fragen wie „Warum versuchen wir nicht, mit KI ein neues Medikament zu entwickeln?“, eine Schritt-für-Schritt-Schilderung ihrer dilettantischen wissenschaftlichen Abenteuer sowie ein Zitat von Charles Darwin.

Wenn Ihnen der Name Citrini bekannt vorkommt, liegt das daran, dass die Firma hinter einem weit verbreiteten fiktiven Text steckte, der eine durch KI verursachte Wirtschaftskatastrophe beschwor, in den sozialen Medien Anklang fand und die realen Märkte verunsicherte. Die Firma gibt außerdem an, im April die Straße von Hormus besucht zu haben, um sich ein persönliches Bild von der Lage in der unruhigen Region zu machen.

Verwandt

• Anthropic will eigene Medikamente entwickeln
• Claude Fable hat zu viel Angst, Ihnen etwas über das Kraftwerk der Zelle beizubringen
• Nein, ChatGPT hat nicht den Krebs eines Hundes geheilt

Für sein neuestes Unterfangen engagierte Citrini die Hilfe von Anthropic, das nur wenige Wochen vor seinem heiß erwarteten Börsengang einige Gründe hat, das Potenzial von KI in der Arzneimittelentwicklung und den Lebenswissenschaften hervorzuheben – zwei Bereiche, die das Unternehmen aktiv verfolgt.

Die Zusammenarbeit kam zustande, nachdem Citrini beim Versuch, das Modell zur Erforschung von Arzneimittelkandidaten zu bewegen, auf Claudes Biosecurity-Schutzmaßnahmen stieß. Der Autor des Beitrags sagte, er habe „jeden in meinem Kontaktbuch, der in einem KI-Labor arbeitete, schlicht zu genannt“ („spam called“), bis er schließlich in Anthropic einen willigen Partner fand. Das KI-Labor war bereit, die Beschränkungen aufzuheben und dem Team Zugriff auf ein fortschrittlicheres, noch nicht veröffentlichtes Modell zu gewähren – unter der Bedingung, dass es aus dessen Büros arbeitete. „Zum Glück“ erklärte sich Anthropic auch bereit, die stattliche Rechen- und Token-Rechnung zu übernehmen, die knapp unter 50,000 Dollar lag.

Nachdem das Team einige Optionen abgewogen hatte, entschied es sich für Skorpion-Antivenin, eine teure Behandlung, die schwierig herzustellen ist und oft die Injektion von Gift in Pferde erfordert. Das Ziel war, Claude Proteine entwerfen zu lassen, die an die Toxine im Skorpiongift binden könnten. Bewaffnet mit einem 35-seitigen Prompt setzten sie die KI ans Werk und ließen rund 300 Subagenten geeignete Proteine entdecken.

In seinem eigenen nüchterneren Bericht über das Experiment erklärte Anthropic, Claude habe fast 320,000 Kandidaten generiert und sie nach dem Ausscheiden derjenigen, die bekannten Toxinen oder bestehenden Proteinen ähnelten, auf 180 Entwürfe reduziert. Der gesamte Prozess dauerte 64 Stunden. Anthropic sagte, das Team habe „mit Claude“ weitere 31 Entwürfe hinzugefügt, wodurch sich die Gesamtzahl auf 211 belief.

Citrini schickte die Entwürfe dann an zwei externe Labore – das Schweizer Biotech-Unternehmen Adaptyv Bio und das US-amerikanische Unternehmen Twist Biosciences –, um zu testen, ob die Proteine tatsächlich an ihre Zielmoleküle binden könnten, ein entscheidender Schritt für die Entwicklung eines wirksamen Antivenins. Das kostete noch einmal rund 150,000 Dollar. Es ist unklar, warum Anthropic diese Tests nicht in eigenen Laboren hätte durchführen können, an biology wet lab in Kalifornien. Siebzehn der Proteine bestanden die Prüfung und banden zusammen an vier der fünf Skorpiontoxine, auf die das Team gehofft hatte, sie abzielen zu können. Kein einziges der Proteine band an mehr als ein Toxin, sagte Citrini.

Selbst wenn sie dies getan hätten, wäre Citrini noch sehr weit von einem funktionierenden Gegengift entfernt. An ein Toxin zu binden bedeutet nicht, dass ein Protein es tatsächlich neutralisieren kann, geschweige denn als sichere und wirksame Behandlung fungieren kann. Citrini räumt dies selbst ein und weist darauf hin, dass „noch kein Experiment getestet hat, ob sie das Toxin tatsächlich an der Wirkung gehindert haben“.

Mit anderen Worten: Das Experiment war nicht erfolgreich. Citrini wollte ein neues Medikament entwickeln, aber gegenüber The Verge sagten Experten, es habe nur den relativ „einfachen“ Teil des Prozesses bewältigt. „Es ist ziemlich einfach, einen guten Binder gegen Schlangen- und Skorpiontoxine zu finden“, sagte Andreas Hougaard Laustsen-Kiel, Professor für Antikörpertechnologien an der Technischen Universität Dänemark. „Der schwierige Teil ist, daraus ein Medikament zu machen.“

Melisa Benard Valle, Assistenzprofessorin, und Anne Ljungars, leitende Forscherin, beide an der Technischen Universität Dänemark, stimmten zu. „Die Ergebnisse sind technisch vielversprechend, aber ein Teil der Begeisterung ist verfrüht“, schrieben sie in einer gemeinsamen E-Mail und bezeichneten die Ergebnisse als „weit entfernt von einem Medikament und überhypt“. Über die von Claude entworfenen Proteine sei vieles noch unbekannt, sagten sie, darunter ihre Sicherheit, Stabilität, ihr Verhalten im Körper und ob sie sich zu brauchbaren Therapien entwickeln lassen. „Die Übertragung dieser Binder in ein tatsächliches Medikament ist wahrscheinlich noch ein langer und anspruchsvoller Prozess.“

Das Neuartigste an Citrinis Experiment sei der „autonome Entdeckungsprozess statt der biologischen Ergebnisse“ gewesen, sagten sie. KI habe enormes Potenzial, Entdeckungen zu beschleunigen, fügten sie hinzu, warnten aber, dass „die Umsetzung vielversprechender Moleküle in wirksame Medikamente eine weitaus größere Herausforderung bleibt“.

Auch der zugrunde liegende Ansatz ist nicht besonders neu. Andreas Bender, Professor für maschinelles Lernen in der Medizin an der Khalifa University in Abu Dhabi, sagte gegenüber The Verge dass bestehende Methoden wie das Hochdurchsatzscreening „oft in der Lage sind, eine Vielzahl von Treffern zu überschaubaren Kosten zu finden“, sogar ganz ohne KI. Die Entwicklung von Proteinen, die an Ziele binden, sei „sozusagen“ ein gelöstes Problem, sagte Bender, der auch Gastprofessor an der University of Cambridge ist. Die viel größere Herausforderung sei es, diese Ergebnisse in Therapien umzusetzen, die in lebenden Systemen tatsächlich funktionieren. „Genau diese Übersetzung fehlt.“

Obwohl es kein Medikament hervorgebracht hatte, erklärte Citrini das Experiment zu einem gewissen Erfolg. Das Unternehmen argumentierte, es biete einen Einblick in die Anlagechancen, die sich in der kommenden Ära der KI-gestützten Arzneimittelforschung ergeben. Auf die Frage, warum man die Forschung nicht weiterverfolgte? Citrini warf Kritikern „Kleinlichkeit“ vor und fügte hinzu: „Um nicht auf einen toten Pferd herumzuhacken, aber wir sind ein Investment-Research-Unternehmen – kein Biotech-Startup.“ Citrini und Anthropic reagierten nicht auf Anfragen um Stellungnahme.

Dennoch zeichnete das Unternehmen ein optimistisches Bild von Firmen, die davon profitieren könnten. Selbstverständlich blieben die Einzelheiten zahlenden Abonnenten vorbehalten, jedoch Bloomberg berichtet, habe das Unternehmen Firmen hervorgehoben, die im Testbereich der Arzneimittelentwicklung tätig sind, darunter Charles River Laboratories, das Primaten für Tierforschung liefert. In einem Video über das Experiment bezeichnete Citrini den KI-Teil als „kostenlos“, und übersah dabei bequemerweise die Rechnung, die Anthropic übernommen hatte.