Bei Block, dem Unternehmen hinter Square, Cash App und Afterpay, nutzt das Sicherheitsteam die OpenAI Defense Factory: Hier übernimmt KI die Suche nach Schwachstellen, deren Erkennung und die Reaktion in einem Umfang, dem kein menschliches Team gewachsen sein könnte. Mit KI-Systemen wie OpenAI Daybreak erledigt Block in nur wenigen Stunden Arbeit, die früher Wochen dauerte.
„KI verkürzt die Zeit von der menschlichen Absicht bis zur Handlung. Lange Zeit ging man davon aus, dass Angreifer im Vorteil seien, weil sie schneller und agiler sind. Doch mit Dingen wie Daybreak und den Fortschritten bei OpenAIs Werkzeugen können Verteidiger mit Feuer gegen Feuer kämpfen und mit dem rasanten Tempo der KI-Adaption mithalten.“—James Nettesheim, Chief Information Security Officer, Block
Das Sicherheitsteam von Block konzentriert sich darauf, KI auf verantwortungsvolle Weise in Arbeitsabläufe zu integrieren, sei es bei der Codeerstellung oder im Security-Betrieb. „Im Zentrum steht eigentlich ein neuer Teamkollege, mit dem man skalieren kann“, sagt James Nettesheim, Chief Information Security Officer. „Es ist nicht wie eine klassische Automatisierung, bei der man Schritt für Schritt vorgehen musste. Man kann es mit einem ziemlich maßgeschneiderten, mehrdeutigen Problem füttern und es gemeinsam durcharbeiten.“
Projekte wie die Überprüfung eines Softwarefehlers oder das Auswerten eines Logs würden Tage oder Wochen dauern. Jetzt kann das Team diese Projekte in einem Bruchteil der Zeit abschließen, wobei ein Mensch weiterhin jedes Ergebnis validiert.
Beim Tuning der Erkennung speichert beispielsweise jede Untersuchung ihre Rohdaten der Abfragen, sodass das Team nun eine vorgeschlagene Änderung der Erkennung gegen sieben Monate Produktions-Telemetrie in weniger als einer Stunde wiederabspielen kann. Diese Arbeit bedeutete früher, hunderte alte Fälle von Hand erneut abzufragen, und geschah in der Praxis oft selten, weil sie so zeitaufwendig war.
Das Team ist auch genauer geworden, welches Modell es für welche Aufgabe verwendet. „Früher haben wir das neueste Modell verwendet, aber das muss man nicht mehr“, sagt er. „Es war eine Lernerfahrung, unterschiedliche Modelle für unterschiedliche Aufgaben auszuwählen.“ Blocks Security-Harness baut auf Daybreak auf, um Aufgaben an das richtige Modell zu routen, und enthält Hooks, mit denen Menschen Aufgaben übernehmen oder Agenten die Arbeit des jeweils anderen überprüfen können. Das Team bewertet diese Systeme laufend anhand interner Benchmarks und der Leistung in der Praxis und passt seinen Ansatz bei Bedarf an, einschließlich der Weiterleitung von Arbeiten zur menschlichen Prüfung, wenn dies der verantwortungsvolle Weg ist.
Das automatisierte Triage-System hat dazu geführt, dass mehr Arbeit (und mehr davon) erledigt wird. Das Sicherheitsteam von Block verzeichnet einen Anstieg des Triage-Durchsatzes um 50%, eine Zunahme der Intelligence-Beschaffung und Untersuchungen um 50% sowie eine völlig neue Fähigkeit zum autonomen Aufspüren. Nettesheim sagt: „Das entspricht ~1,100 Analystenstunden an Untersuchungen pro Quartal, denn jetzt erhält jede Warnung eine vollständige, tiefgehende Untersuchung aller Elemente, die die Warnung betrifft. Unser System behandelt jede Warnung so, als wäre sie die einzige, die wir an diesem Tag haben.“
Die OpenAI Defense Factory in Aktion
Herkömmliche Scan-Tools markieren eine einzelne Schwachstelle isoliert, aber das Sicherheitsteam von Block kann mit Daybreak viel weiter gehen. Das Modell hilft, Hypothesen über Angriffsmuster aufzustellen und eine Reihe von Angriffen zu einer vollständigen End-to-End-Kompromittierungskette zu verknüpfen, wodurch Schwachstellen sichtbar werden, die möglicherweise seit Jahren existierten.
In einem Fall sah eine Warnung zu einem einzelnen Laptop für sich genommen wie ein geringfügiges Policy-Problem aus. Doch während der Peer-Review verfolgte das Modell einen Indikator, der nur beiläufig in den Beweismitteln aufgetaucht war, verknüpfte ihn mit Blocks Identity-Logs und deckte ein viel größeres Spektrum an Problemen auf. „Eine routinemäßige Endpoint-Warnung wurde zur Zerschlagung einer Kampagne. Kein einzelnes Tool stellt diese Verknüpfung her. Das Signal existiert nur über die Logs von zwei Produkten hinweg“, sagt James.
Ein weiteres Beispiel, bei dem Daybreak half, war eine kürzliche Red-Team-Übung. Das Modell erhielt ein paar Hinweise auf ein internes System und verkettete innerhalb von etwa zwei Stunden einen vollständigen Angriffspfad — SQL-Injection, Privilege Escalation, einen Festpunkt, Credential Enumeration und einen Wechsel zu anderen Systemen. Dies würde einen menschlichen Red-Teamer normalerweise mehrere Tage kosten. Bei recenten Red-Team-Übungen betrug die Zeit vom Einreichen einer High-Level-Schwachstelle bis zum automatisiert vorgeschlagenen Patch 18 Minuten.
Schwachstellen zu finden ist nur so gut wie die Fähigkeit, sie zu beheben. Nettesheim erläutert den Prozess, den sein Team bei jedem Fund anwendet: den Ort der Schwachstelle im Code lokalisieren und den Verantwortlichen identifizieren, dann zur Behebung übergehen. „Man schlägt einen Patch vor, bestätigt die Ausnutzbarkeit und überprüft dann, ob man ihn behoben hat, wobei ein Mensch den Prozess anleitet und die Codeänderungen bereitstellt.“
Auch wenn Agenten technisch fähig sind, tragen sie nicht den Kontext einer Organisation oder das Innenleben früherer Entscheidungen in sich. Ein Mensch liefert diesen Kontext und diese Strategie, und genau dort kommt sein Team ins Spiel, um eine menschliche Ebene der Überprüfung zu bieten. Da sich das Urteilsvermögen der KI in der Praxis bewährt, sagt Nettesheim: „werden wir das Risikoniveau langsam hochstufen, um es für sensiblere Systeme einzusetzen.“
Ergebnisse auf einen Blick
Weniger als eine Stunde, um eine vorgeschlagene Änderung der Erkennung gegen sieben Monate Telemetrie wiederauszuspielen.
18 Minuten vom Einreichen einer High-Level-Schwachstelle bis zum automatisiert vorgeschlagenen Patch bei recenten Red-Team-Übungen.
Etwa 600 Analystenstunden pro Quartal an Triage durch Falsch-Positive zurückgewonnen.
Ungefähr 1,100 Analystenstunden an Untersuchungen pro Quartal abgeschlossen.
Anstieg des Triage-Durchsatzes um 50%.
Zunahme der Intelligence-Beschaffung und Untersuchungen um 50%.
Ausblick
Allein die Erkennungs- und Reaktionsarbeit hat rund 600 Analystenstunden pro Quartal zurückgegeben, die früher auf die Triage von Falsch-Positiven entfielen. Mit dieser zurückgewonnenen Zeit verbringt das Team nun mehr Zeit mit tiefergehenden Untersuchungen und dem verantwortungsvollen Aufbau weiterer Automatisierung.
Da das Tempo der Angriffe zunimmt und KI-Modelle sich ständig weiterentwickeln, sieht Nettesheim eine Möglichkeit, die Anzahl der von vornherein eingeführten Schwachstellen zu verringern. Das würde Sicherheitsteams davon entlasten, weniger Zeit mit dem Patchen zu verbringen und mehr Zeit für präventive, strategische Arbeit zu haben.
„OpenAI verlagert den Vorteil zu den Verteidigern, indem es diese fortgeschrittenen Fähigkeiten in die Hände aller legt“, sagt er. „Bisher hatten typischerweise nur sehr prominente Technologieunternehmen und Regierungen Zugriff darauf. Aber jetzt können alle – einschließlich kritischer Infrastruktur, Schulen und kleiner Unternehmen – diese Technologie nutzen, um ihre Netzwerke zu verteidigen.“