Bei Block, dem Unternehmen hinter Square, Cash App und Afterpay, nutzt das Sicherheitsteam die OpenAI Defense Factory: Hier übernimmt KI die Schwachstellenerkennung, Aufdeckung und Reaktion in einem Ausmaß, dem kein menschliches Team gewachsen sein könnte. Mit KI-Systemen wie OpenAI Daybreak erledigt Block Arbeit, die früher Wochen dauerte, heute in nur wenigen Stunden.
„KI komprimiert die Zeit von der menschlichen Absicht zur Handlung. Eine Zeit lang ging man davon aus, dass Angreifer im Vorteil sind, weil sie schneller und wendiger sind. Aber mit Dingen wie Daybreak und den Fortschritten bei OpenAIs Tools können Verteidiger mit Feuer gegen Feuer kämpfen und mit dem rasanten Tempo der KI-Adaption mithalten.“—James Nettesheim, Chief Information Security Officer, Block
Das Sicherheitsteam von Block konzentriert sich darauf, KI verantwortungsvoll in verschiedene Workflows zu integrieren, sei es bei der Codegenerierung oder im Sicherheitsbetrieb. „Worum es im Kern geht, ist ein neuer Teamkollege, mit dem du skalieren kannst“, sagt James Nettesheim, Chief Information Security Officer. „Es ist nicht wie eine traditionellere Automatisierung, bei der man Schritt für Schritt vorgehen musste. Man kann ihm ein ziemlich individuelles, mehrdeutiges Problem eingeben und es gemeinsam durcharbeiten.“
Projekte wie die Überprüfung eines Softwarefehlers oder das Auswerten eines Logs würden Tage oder Wochen dauern. Jetzt kann das Team diese Projekte in einem Bruchteil der Zeit abschließen, während ein Mensch weiterhin jedes Ergebnis validiert.
Beim Tuning der Detektion beispielsweise speichert jede Untersuchung ihre Rohdaten der Abfragen, sodass das Team jetzt eine vorgeschlagene Detektionsänderung in weniger als einer Stunde gegen sieben Monate Produktions-Telemetrie wiederspielen kann. Diese Arbeit bedeutete früher, Hunderte alte Fälle von Hand neu abzufragen, und geschah in der Praxis selten, weil sie so zeitaufwendig war.
Das Team legt auch zunehmend mehr Wert darauf, welches Modell es für welche Aufgabe einsetzt. „Früher haben wir das neueste Modell verwendet, aber das muss man nicht mehr“, sagt er. „Es war eine Lernerfahrung, für unterschiedliche Aufgaben unterschiedliche Modelle auszuwählen.“ Blocks Security-Harness baut auf Daybreak auf, um Aufgaben an das richtige Modell weiterzuleiten, und enthält Hooks, damit Menschen Aufgaben übernehmen können oder Agenten sich gegenseitig ihre Arbeit verifizieren. Das Team bewertet diese Systeme kontinuierlich anhand interner Benchmarks und der Leistung in der Praxis und passt seinen Ansatz bei Bedarf an, einschließlich der Weiterleitung von Arbeiten zur menschlichen Überprüfung, wenn dies der verantwortungsvolle Weg ist.
Das automatisierte Triage-System hat dazu geführt, dass schneller mehr Arbeit erledigt wird. Das Sicherheitsteam von Block verzeichnet einen 50%-Zuwachs beim Triage-Durchsatz, eine 50%-Steigerung bei der Informationsbeschaffung und bei Untersuchungen sowie eine völlig neue autonome Jagd-Fähigkeit. Nettesheim sagt: „Das entspricht etwa 1,100 Analysten-Stunden an Untersuchungen pro Quartal, weil jetzt jede Warnung eine vollständige, tiefe Untersuchung über alle beteiligten Elemente der Warnung hinweg erhält. Unser System bearbeitet jede Warnung, als wäre sie die einzige an diesem Tag.“
Die OpenAI Defense Factory in Aktion
Traditionelle Scan-Tools markieren eine einzelne Schwachstelle isoliert, aber das Sicherheitsteam von Block kann mit Daybreak viel weiter gehen. Das Modell hilft dabei, Hypothesen über Angriffsmuster aufzustellen und eine Reihe von Angriffen zu einem vollständigen End-to-End-Kompromittierungspfad zu verketten, wodurch Schwachstellen aufgedeckt werden, die möglicherweise seit Jahren bestanden.
In einem Fall sah eine Warnung zu einem einzelnen Laptop für sich genommen wie ein geringfügiges Richtlinienproblem aus. Aber während der Peer Review verfolgte das Modell einen Indikator, der nur zufällig in den Beweisen auftauchte, verknüpfte ihn mit Blocks Identity-Logs und deckte eine viel größere Anzahl von Problemen auf. „Aus einer routinemäßigen Endpoint-Warnung wurde die Zerschlagung einer Kampagne. Kein einzelnes Tool schafft diese Verknüpfung. Das Signal existiert nur über die Logs von zwei Produkten hinweg“, sagt James.
Ein weiteres Beispiel, bei dem Daybreak half, war eine kürzlich durchgeführte Red-Team-Übung. Dem Modell wurden ein paar Hinweise zu einem internen System gegeben, und es verkettete in etwa zwei Stunden einen vollständigen Angriffspfad – SQL-Injection, Privilegienausweitung, einen Festpunkt, das Aufzählen von Zugangsdaten und einen Wechsel zu anderen Systemen. Dies würde einen menschlichen Red-Teamer typischerweise mehrere Tage kosten. In jüngsten Red-Team-Übungen betrug die Zeit von der Meldung einer High-Level-Schwachstelle bis zu einem automatisiert vorgeschlagenen Patch 18 Minuten.
Schwachstellen zu finden ist nur so gut wie die Fähigkeit, sie zu beheben. Nettesheim erläutert den Prozess, den sein Team bei jedem Fund anwendet: den Ort der Schwachstelle im Code ausfindig machen und den Verantwortlichen identifizieren, dann zur Behebung übergehen. „Man schlägt einen Patch vor, bestätigt die Ausnutzbarkeit und verifiziert dann, dass man ihn behoben hat, mit einem Menschen, der den Prozess anleitet und die Codeänderungen ausrollt.“
Auch wenn Agenten technisch fähig sind, tragen sie nicht den Kontext einer Organisation oder die Begründung hinter früheren Entscheidungen. Einen Menschen liefert diesen Kontext und diese Strategie, und genau da kommt sein Team ins Spiel, um eine menschliche Ebene der Überprüfung bereitzustellen. Wenn sich das Urteilsvermögen der KI in der Praxis beweist, sagt Nettesheim, „werden wir das Risikoniveau langsam hochstufen, um es für sensiblere Systeme einzusetzen.“
Ergebnisse auf einen Blick
Weniger als eine Stunde, um eine vorgeschlagene Detektionsänderung gegen sieben Monate Telemetrie wiederspielen.
18 Minuten von der Meldung einer High-Level-Schwachstelle bis zu einem automatisiert vorgeschlagenen Patch in jüngsten Red-Team-Übungen.
Etwa 600 Analysten-Stunden pro Quartal an Triage von Fehlalarmen zurückgegeben.
Ungefähr 1,100 Analysten-Stunden an Untersuchungen pro Quartal abgeschlossen.
50%-Zuwachs beim Triage-Durchsatz.
50%-Steigerung bei der Informationsbeschaffung und bei Untersuchungen.
Was kommt als Nächstes
Allein die Erkennungs- und Reaktionsarbeit hat etwa 600 Analysten-Stunden pro Quartal zurückgegeben, die früher auf die Triage von Fehlalarmen entfielen. Mit dieser zurückgewonnenen Zeit verbringt das Team jetzt mehr Zeit mit tiefergehenden Untersuchungen und dem verantwortungsvollen Aufbau weiterer Automatisierung.
Da das Tempo der Angriffe zunimmt und KI-Modelle sich weiterentwickeln, sieht Nettesheim eine Möglichkeit, die Zahl der anfänglich eingeführten Schwachstellen zu reduzieren. Das würde Sicherheitsteams entlasten, sodass sie weniger Zeit mit dem Patchen verbringen und mehr Zeit für präventive, strategische Arbeiten haben.
„OpenAI verlagert den Vorteil zu den Verteidigern, indem es diese fortschrittlichen Fähigkeiten in die Hände aller legt“, sagt er. „Bisher gab es das typischerweise nur bei sehr prominente Technologieunternehmen und in staatlicher Hand. Aber jeder – einschließlich kritischer Infrastruktur, Schulen und kleiner Unternehmen – kann diese Technologie nun nutzen, um seine Netzwerke zu verteidigen.“