Anthropic und Theorem Labs haben Claude in eine Maßnahme geführt, die bis ins Maschinencode reicht, um Softwarelücken zu beseitigen. Sie brachten Claude bis auf den Grund hinab und führten formale Validierung für große Open-Source-Codebibliotheken gegen RISC-V-Assembler-Befehle durch – innerhalb weniger Wochen wurden 123 Open-Source-Codebibliotheken und 239 Testeingänge bearbeitet, und es wurden 180 Millionen Zeilen von Rocq-Mathematikbeweisen mit bestandenem Test veröffentlicht.
Was wirklich beunruhigend ist, sind die Dinge, die es herauslockert. Die versteckten Lücken, die durch das Fuzzing Tausende von Milliarden Mal nicht entdeckt werden konnten, die hohen Risikofaktoren in den logischen Räumen, die über zehn Jahre lang verborgen waren, sowie die Hardwaredefekte auf der x86-Prozessor-Ebene und die Fehler in den offiziellen Dokumenten, wurden von Claude auf einmal entlarvt. Die traditionelle zufällige Testmethode ist wie das Säen von Sand, um die Lücken immer wieder zu entdecken – es gibt immer etwas, das durchkommt. Der Vorteil dieser Methode besteht darin, dass der Testeingang direkt in eine mathematische Aussage umgewandelt wird, und für den gesamten Pfad sowie die gesamte Eingabe ein abdeckender Beweis erstellt wird – sobald der Beweis an einem Punkt „steckt“ und nicht weitergeht, ist das oft der Ort, an dem das Loch verborgen ist. Zudem kann Claude den Patch problemlos reparieren und anschließend weiter testen, wodurch die Fehlalarmrate stark reduziert wird.
Von der Kostenperspektive aus ist die Bedeutung dieser Angelegenheit klarer. Die formalisierte Überprüfung des Maschinencode von Grund auf bis zur Implementierung ist früher eine Arbeit mit hohem Arbeitsaufwand gewesen. Heute, dank der Fähigkeiten großer Modelle, steigt die Effizienz der Überprüfung etwa alle zwei Monate um das Doppelte, und die erstellten Beweise können zwischen Projekten wieder verwendet werden. Nach der aktuellen Entwicklung wird mit einer Investition von etwa 134 Millionen US-Dollar bis Ende 2027 die Überprüfung von 95% des Maschinencode im Nix-Ökosystem erreicht sein; die ersten relevanten Beweise sind bereits öffentlich gemacht worden. Wenn die Sicherheitssituation im Netzwerk immer bedrohlicher wird, bietet dieser Weg „der Verwendung von KI, um die Korrektheit von Code zu einem mathematischen Theorem zu machen“, der Branche eine völlig neue Verteidigungslinie.