Aujourd'hui, je m'entretiens avec Alex Stamos, directeur de la sécurité chez Cognition et expert en cybersécurité de longue date, à propos du chaos qu'est la cybersécurité en ce moment.
Cet épisode fait partie de la première partie d'une série spéciale consacrée à l'IA dans la vie réelle.
J'ai toujours aimé parler avec Alex parce qu'il est très direct, et vous allez l'entendre dire que l'industrie de la cybersécurité de plusieurs milliards de dollars, telle qu'on la connaissait, est en retard face aux vagues incessantes de piratages, de violations de données et d'attaques dopées à l'IA — et ce n'est que le début de la transformation que l'IA fait subir à la sécurité.
Verge abonnés, n'oubliez pas que vous avez un accès exclusif sans publicité à Decoder où que vous écoutiez vos podcasts. Rendez-vous ici. Pas encore abonné ? Vous pouvez vous inscrire ici.
Des acteurs privés mais aussi des acteurs étatiques, comme la Russie ou la Corée du Nord, s'introduisent dans des systèmes partout, grâce à l'IA qui les aide à la fois à détecter et à exploiter les vulnérabilités en même temps. Alex souligne que cela a une véritable allure de frontière, comme dans les années 90, quand l'idée même d'un monde toujours connecté était toute nouvelle.
Autant de perturbations, cela signifie de nombreux endroits où les mauvais acteurs peuvent s'infiltrer pendant que tous les autres se démènent dans la confusion. Alex n'est pas fataliste à long terme, mais il pense que nous traversons un « âge sombre » le temps d'essayer de comprendre comment diable nous adapter à la nouvelle ère.
Il se passe beaucoup de choses ici — nous en sommes même arrivés à la question de savoir comment la désinformation et le contenu généré par l'IA pourraient être gérés sur nos réseaux sociaux.
Avant de commencer, faites-moi plaisir et abonnez-vous à Decoder sur YouTube, où nous publions de nouveaux épisodes chaque lundi et jeudi.
Bon : Alex Stamos sur la façon dont l'IA bouleverse la cybersécurité. C'est parti.
Cet entretien a été légèrement modifié pour des raisons de longueur et de clarté.
Alex Stamos, vous êtes directeur de la sécurité chez Cognition. Vous êtes également maître de conférences au Stanford University Cyber Policy Center. Bon retour au Decoder.
Salut, merci de m'avoir invité, mon pote.
Je suis ravi de te parler. Cela fait longtemps que nous ne nous sommes pas entretenus, toi et moi, dans ce qu'on pourrait appeler « l'ère de la modération des contenus » du débat sur la gouvernance d'internet. J'ai l'impression que nous avons beaucoup parlé de la façon dont tout cela fonctionnait, de la sécurité des élections, de toutes ces choses. Nous sommes dans une nouvelle ère de grands problèmes sur internet, en particulier autour de la cyberdéfense et de la cybersécurité. Tu as beaucoup réfléchi à tout cela. Tu as qualifié les dernières semaines de « mois de la sensibilisation à la sécurité ». Raconte-moi ce qui se passe. Fais-moi un état des lieux actuel.
Octobre est traditionnellement le mois de la sensibilisation à la sécurité. Beaucoup d'entreprises organisent des événements, à la fois en interne, puis pour informer les gens : « Changez votre mot de passe, utilisez plusieurs mots de passe, utilisez un gestionnaire de mots de passe. » Ce qui s'est passé le mois dernier, c'est que nous avons eu plusieurs de ces gros bugs, PHP, Node et autres. Ce qui a été moins évoqué, c'est qu'un nombre énorme d'entreprises ont été compromises.
Vous avez une série d'entreprises liées à l'IA, les neoclouds, qui ont été compromises successivement. Vous avez le piratage de Binance, qui est le plus grand vol de l'histoire de l'humanité. Vous avez l'incident Cursor, où l'une des choses qui se passe ici, c'est que ces piratages sont enchaînés entre eux. D'après ce que nous savons en ce moment, l'une des entreprises qui a été piratée est Fireworks, un fournisseur important de services d'IA pour un certain nombre d'entreprises. À la suite du piratage de Fireworks, des clés API ont été volées, ce qui a permis à des gens de s'introduire dans Cursor. Une fois dans Cursor, ils ont poussé un plugin malveillant, qui s'est propagé à 5,000 autres entreprises et qui a provoqué 5,000 violations potentielles. C'est ce genre de violation permanente et continue qui se produit dans toute l'industrie technologique.
Un ami à moi, RSSI, nous a demandé à plusieurs d'entre nous : « Est-ce que quelqu'un d'autre est fatigué ? » Et tout le monde a répondu oui, parce qu'en réalité nous avons été en DEFCON 2 pendant tout le mois d'octobre et maintenant en novembre.
Je vais vous poser des questions vraiment bêtes. Qui se cache derrière toutes ces attaques ? Est-ce la Russie ? La Corée du Nord ? Le sait-on ?
Ce sont des groupes très divers. Ce n'est pas simplement parce que les adversaires l'ont décidé, mais ce qui s'est passé, de mon point de vue, c'est que nous sommes au début du décollage de la capacité des adversaires rendue possible par l'IA : les modèles à poids ouverts en sont maintenant au point où l'on peut automatiser la majeure partie de la « kill chain ». Ce terme de « kill chain » est quelque chose que nous avons volé à l'armée. Dans l'armée, cela signifie littéralement tuer quelque chose. Ce sont les étapes que l'on suit pour faire exploser quelque chose. En cyber, la kill chain, ce sont les actions que l'on mène pour avoir un effet sur une cible. Voler des informations, couper quelque chose, voler de l'argent, voler des bitcoins.
Traditionnellement, on fait la recherche en amont : on examine un logiciel, on trouve une vulnérabilité, on écrit des exploits, et on fait tout cela bien à l'avance. Ensuite, on envoie un être humain prendre ce qu'on a construit et le déployer contre une seule cible — parce que peut-être que vous êtes un gouvernement et que vous vous attaquez à Lockheed Martin ou à un autre gouvernement, ou que vous êtes un acteur de ransomware — et vous prenez tout ce travail et vous le déployez contre des centaines ou des milliers de cibles très rapidement. Maintenant, avec l'IA, ce qui se passe, c'est que cette kill chain s'est inversée : on peut faire tourner un système d'IA qui se déchaîne complètement, qui examine les cibles, trouve les bogues en temps réel, écrit les exploits en temps réel et s'introduit dans ces entreprises. L'un des phénomènes en cours, c'est que ces systèmes vont si loin et sont si doués pour trouver les bogues qu'ils trouvent les bogues en temps réel et écrivent les exploits en temps réel.
Le système dont tout le monde parle n'est pas le seul, mais le système dont nous parlons s'appelle ARTEX, un outil open-source chinois que tout le monde peut consulter. Il existe une traduction en anglais sur GitHub que vous pouvez examiner. Et si vous l'alimentez en back end avec quelque chose comme un GLM-5.3 oblitéré, il vous permettra de vous introduire dans un nombre stupéfiant d'organisations. Cela a commencé avec trois banques sud-coréennes. Cette semaine, environ 200 entreprises supplémentaires ont été touchées. J'ai aidé quelques entreprises. Cognition n'est pas une entreprise de réponse aux incidents, mais nous intervenons pour aider les gens à corriger leurs bogues après coup en utilisant nos outils. C'est choquant de voir les entreprises qui se font attaquer par quelque chose qu'on peut simplement télécharger. Cela fait longtemps qu'on ne pouvait plus simplement télécharger un outil open-source et s'introduire dans des entreprises valant des milliards de dollars. On est revenus aux années 90. C'est-
C'est ce à quoi je pensais. Je pense à Windows à la fin des années 90, au début des années 2000, quand c'était une catastrophe en matière de sécurité.
En fait, je le dis depuis le début de cette année : c'est une période incroyablement excitante et terrifiante, parce que la dernière fois que cela m'avait donné cette impression, j'étais un homme bien plus jeune et j'allais aux tout premiers DEFCON. Aujourd'hui, le DEFCON rassemble entre 40,000 et 60,000 personnes. À l'époque [dans les années 1990], c'était quelques centaines de personnes, il n'y avait qu'une seule piste, on entrait, quelqu'un donnait une présentation, on quittait la salle et on se disait : « Toutes les entreprises du monde sont vulnérables à cette attaque. » La différence, c'est que le monde entier ne fonctionnait pas sur Internet. On pouvait faire de mauvaises choses, mais on ne pouvait pas ruiner le monde, et on ne pouvait certainement pas automatiser cela comme on peut le faire maintenant.
On est revenus à cette époque où des outils qu'on pouvait simplement obtenir et construire soi-même pouvaient faire des choses folles. On est revenus à l'époque du Far West. À cette époque, il y avait quelques centaines de personnes qui possédaient ces compétences et nous étions tous dans une même salle à Las Vegas, et la plupart étaient en réalité des gens bien. Ils ne voulaient pas devenir criminels. Et maintenant, on a un écosystème de personnes bien plus vaste, dont beaucoup vivent dans des endroits où les forces de l'ordre ne peuvent pas les atteindre, qui ont une forte incitation économique et qui ont accès à ces outils. L'autre grand changement, c'est qu'ils n'ont plus besoin d'utiliser des modèles de pointe qui ont des protections, qui ont des journaux accessibles aux forces de l'ordre. Mon M5 Mac Ultra Studio est enfin arrivé et je fais tourner un GLM-5.3 oblitéré quantifié, et mon Dieu, ce qu'on peut faire est incroyable.
Vous avez parlé de l'économie des modèles de pointe. L'économie de la cybercriminalité est l'une de ces choses qui sont devenues sophistiquées au fil des ans. L'une des raisons pour lesquelles nos systèmes sont devenus plus sûrs, c'est qu'on pouvait payer un gros salaire au nombre de personnes présentes au DEF CON pour protéger tous les systèmes, et il était économiquement intelligent de les payer pour être des défenseurs plutôt que des attaquants. Je fais juste défiler ma propre mémoire à travers cette histoire. Il y a eu une longue conversation dans notre industrie à propos de la sécurité par l'obscurité, qui consiste à cacher tous les bogues et tout le code, par opposition à l'open source et à une véritable transparence. Une étiquette s'est développée sur la manière de révéler les bogues et le moment d'avertir les gens. Il y a eu des rapports de transparence et des bug bounties.
On peut appeler cela une étiquette, on peut appeler cela une économie. Nous avons construit une culture autour de la cybersécurité et de la cyberdéfense, et de la manière dont les attaquants et les défenseurs opéreraient. Ce que vous décrivez change tout, pour de nombreuses raisons, mais celle qui me frappe le plus, c'est l'économie. Je peux aller acheter un Mac Studio, je peux obtenir un modèle à poids ouverts et simplement me lancer, et cela ne me place pas à l'intérieur de cette culture. Il n'y aura pas de vieil homme, un Obi-Wan Kenobi, pour dire : « Voici comment agir comme un Jedi de la cybersécurité. » Je vais simplement commencer à faire des choses. Dites-moi comment cela change en ce moment même.
En réalité, la dernière ère de la sécurité, de mon point de vue, a commencé avec Microsoft, avec le mémo « trustworthy computing » de Bill Gates au début des années 2000. C'est à ce moment-là que nous avons commencé à concevoir la manière dont nous faisons la sécurité des logiciels, et ces grandes entreprises, Microsoft et Oracle, puis plus tard Amazon et Salesforce et ces gens-là, ont commencé à embaucher d'anciens hackers. J'ai fait partie de cette génération d'anciens hackers qui fréquentaient le DEF CON et le Black Hat et qui étaient embauchés par les entreprises pour casser leurs systèmes. Nous avons commencé à mettre en place la divulgation responsable, les bug bounties, les sociétés de conseil, ainsi Foundstone et @stake, puis Mandiant et CrowdStrike, ces entreprises se développent et nous obtenons cette immense industrie qu'est aujourd'hui le RSA et le Black Hat. Cette industrie de la sécurité de plusieurs milliards de dollars s'est développée dans les années 2000 et 2010.
Cette époque est révolue, comme vous l'avez dit, parce qu'elle reposait sur quelques hypothèses. L'une était qu'il existait une hiérarchie de compétences parmi les personnes capables de faire ce genre de choses. Il y avait les script kiddies qui pouvaient télécharger des outils pour faire des choses, puis le niveau au-dessus, les personnes capables d'écrire ces outils, ce qui était un ensemble de compétences plus rare. Il y avait les chercheurs en vulnérabilités, puis il y avait les dieux, et ce tier divin comptait des centaines de personnes, et ce sont elles qui pouvaient faire des recherches de vulnérabilités vraiment, vraiment bonnes, qui pouvaient écrire du shell code vraiment, vraiment bon, qui pouvaient rétroconcevoir des correctifs de Microsoft ou de quelqu'un du genre.
Il y avait aussi l'hypothèse qu'il y avait un nombre limité de personnes capables d'être opérationnelles dans une attaque. Si vous vouliez constituer une équipe d'attaque, vous aviez une petite composante R&D puis une composante opérationnelle beaucoup plus grande. Si vous étiez une équipe d'attaque professionnelle au U.S. Cyber Command, au SVR russe, au MSS chinois, vous construisiez la structure de votre équipe R&D avec des gens d'élite puis vos personnels opérationnels moins élites, et cela a ensuite été copié par les acteurs russes du ransomware. Il faut une conspiration de personnes pour faire ce genre de choses. Une bonne partie de tout cela s'est aussi effondrée avec l'invention du Bitcoin parce que l'une des hypothèses était que vous deviez avoir des personnes capables de blanchir de l'argent, et le Bitcoin a fait que des nerds pouvaient blanchir de l'argent. Cela a commencé à changer l'économie de toute l'affaire.
Tout cela s'effondre à cause de l'IA, parce que la question des compétences, c'est que maintenant les script kiddies ont une bonne partie des compétences des Dave Vitales et des autres dieux du cyber qui pouvaient faire ces choses, au point qu'avec ce Mac posé sur mon bureau, je peux rétroconcevoir un correctif Microsoft, le parcourir, puis écrire du code d'exploit stable. Ce n'est pas encore tout à fait automatique. Il faut encore avoir un tas de compétences, mais nous y sommes vraiment, vraiment proches.
Ce qui est vraiment préoccupant, et ce que l'on voit avec l'affaire ARTEX, c'est qu'on peut maintenant en quelque sorte se lâcher côté opérationnel. Nous n'avons jamais été en sécurité. Tout n'était qu'une fantaisie. Ces vulnérabilités ont toujours existé. Ces entreprises n'ont jamais été en sûreté. Et c'est ce que nous avons vu au cours de la dernière décennie : ces acteurs de ransomware pour la plupart russes s'attaquant aux entreprises de taille moyenne dont la plupart des gens n'ont jamais entendu parler mais qui sont en réalité vraiment importantes, comme une entreprise industrielle de taille moyenne qui fabrique un gadget dont nous dépendons tous. J'ai déjà travaillé pour le plus grand distributeur de fournitures médicales et dentaires du pays, et il a été vraiment durement touché par un acteur russe de ransomware, puis des cabinets dentaires partout dans le pays ont annulé leurs rendez-vous. Cela n'a même pas fait les actualités, mais c'était parce qu'ils ne pouvaient pas obtenir des gants, parce qu'ils ne pouvaient pas obtenir des fournitures. C'est parce qu'une entreprise comme celle-là a un seul responsable de la sécurité et une équipe informatique de 10 personnes, 12 personnes, et qu'elle affronte une équipe russe de ransomware de 20 personnes : elle est cuite.
Mais c'est seulement parce qu'il n'y a qu'une poignée d'équipes russes capables de faire cela. Maintenant, deux ou trois gamins russes peuvent avoir toute une batterie de Macs ou, s'ils ont l'argent, ils peuvent acheter des Nvidia H-100 et ils peuvent faire tourner une tonne d'agents qui font cela toute la journée, et c'est cela qui change la donne.
Je suis désolé, vous avez demandé qui faisait cela. Pour Binance, ce sont les Nord-Coréens et ils ont toute une équipe dont la seule tâche est de voler des Bitcoin. D'autres s'en sont retirés parce qu'il est vraiment difficile de rivaliser avec une agence de renseignement étrangère qui recrute ses enfants les plus brillants et dont la seule activité est de voler des Bitcoin. Ils sont extrêmement doués pour cela. Et pour le piratage de Binance, on peut en parler. Il y a probablement une composante IA, mais c'était surtout en réalité du renseignement humain et de l'ingénierie sociale très, très habile, et les Nord-Coréens sont… je veux dire, il faut leur reconnaître cela. Ils sont très, très bons dans ce domaine.
Mais pour le reste, il semble que pour les personnes qui s'introduisent dans les entreprises d'IA, il s'agit de ce qu'on appelle l'industrie chinoise de l'accès de cottage, c'est-à-dire de petits sous-traitants chinois qui s'introduisent dans des entreprises puis vendent l'information à des entreprises chinoises bien plus grandes.
Cette diffusion des compétences qui change l'économie du cyber me fascine vraiment. Nous avons publié il y a longtemps un titre intitulé «Attack of the Killer Script Kiddies» au tout début de tout cela, et je me sens coupable parce qu'il convient beaucoup plus à maintenant qu'à l'époque, parce qu'alors ce n'était qu'un tas de cabotinage automatisé. Maintenant —
Parce que vous avez gaspillé ce titre. Vous regrettez de ne pas l'avoir gardé en réserve.
Nous avons gaspillé le titre. De temps en temps, on a un titre éclair. Il faut le sortir. C'est une grande œuvre d'art. Nous le mettrons dans les notes de l'émission, mais il semble que la diffusion dont vous parlez ne signifie pas qu'une bande d'adolescents va être encore plus malveillante. C'est une bande de mauvais acteurs ayant de véritables motivations à nuire qui sont maintenant vastly plus capables qu'avant. Et il ne semble pas qu'on puisse réajuster l'économie de cela à moins de rendre les attaques vraiment coûteuses d'une manière ou d'une autre.
Je pense qu'il va être extrêmement difficile de rendre les attaques coûteuses.
Nous allons devoir baisser le coût de la défense. Vous avez complètement raison d'examiner ce problème économique parce que ce qui se passe, c'est que les attaques deviennent agentiques. Le coût par token pour les attaquants tend vers zéro, et le coût de la défense pour les défenseurs reste assez élevé. Il est très important pour nous de trouver des moyens pour que les défenseurs aient des options moins chères. Je pense que c'est crucial. C'est quelque chose sur quoi je me concentre personnellement de façon extrême. Pour être franc, très peu de gens le font.
Il y a ici quelques problèmes. Premièrement, une énorme attention est accordée au volet défensif de l’IA pour trouver et corriger les bugs. C’est très bien. C’est important. Mais la sécurité logicielle en tant que RSSI… Je travaille pour une entreprise de logiciels d’IA, Cognition. Même en tant que RSSI d’une entreprise qui produit des logiciels, la sécurité logicielle représente 25 % de mon travail. J’ai toutes sortes d’autres responsabilités. Et la sécurité logicielle est la partie de mon travail qui a été à la fois la plus révolutionnée et la plus améliorée par l’IA. Les 75 % restants ont été un peu aidés et dans certains cas beaucoup aggravés. Il y a tellement plus à faire que simplement progresser méthodiquement dans la recherche et la correction de bugs. Il y a eu tellement moins de progrès sur toutes ces autres choses. Et le prochain domaine doit être le versant de la sécurité opérationnelle.
Attendez, donnez-moi un exemple de ces autres choses, les 75 %.
D’accord. Le versant de la sécurité opérationnelle, c’est surveiller vos journaux et vous dire : « Ah, quelqu’un utilise nos techniques contre nous. Je vais maintenant déclencher une enquête. Je vais regarder ce qui se passe et je vais prendre une décision intelligente sur ce que je vais faire pour y répondre sans arrêter toute l’entreprise. » C’est le travail d’un SOC (centre d’opérations de sécurité). Les entreprises qui veulent survivre à cette ère vont devoir remplacer par l’IA les êtres humains qui font ce travail au premier niveau, puis finalement au deuxième niveau. Et vous pouvez le faire avec les LLM actuels.
Le premier niveau ne doit en fait pas être un LLM. Il doit être quelque chose de beaucoup plus simple d’esprit, car vous examinez des téraoctènes ou des pétaoctènes de journaux et ce n’est tout simplement pas économique de le faire avec un véritable LLM. Nous avons d’autres outils — TF-IDF, MLBERT, classifieurs traditionnels — qui peuvent fonctionner beaucoup plus rapidement, mais ensuite cela déclenche une alerte et vous l’envoyez à un petit LLM, puis le petit LLM appelle son grand frère, qui pourrait appeler un frère encore plus grand.
Mais pour ces modèles, nous devons faire beaucoup plus de travail pour les optimiser et nous devons les rendre bon marché. J’ai un collègue qui travaille dans l’une des grandes entreprises de plateformes de sécurité qui m’a dit qu’une enquête sur l’un des grands modèles cyber de pointe coûte 900 dollars sur leur produit. Cela ne fonctionnera pas quand les gars du ransomware russe utilisent soit des Mac, soit des installations minières crypto jetables et que leur coût marginal est zéro.
C’est l’une des choses sur lesquelles nous travaillons chez Cognition : nous entraînons nos propres modèles, nous réentraînons des poids ouverts, et nous essayons de faire baisser considérablement ce coût. C’est quelque chose que nous avons fait, mais nous avons encore beaucoup de travail à faire ici et beaucoup d’autres personnes ont du travail à faire ici. C’est là que, en tant qu’industrie, nous devons nous concentrer sur la frontière de Pareto entre coût et efficacité en cybersécurité, car il ne s’agit pas seulement de trouver des bugs.
L’autre point ici, c’est que les gens parlent de Mythos. Mythos est formidable, Astra Cyber est formidable. Ce sont des modèles incroyables, mais même les personnes qui y ont accès, ce qui représente un très petit nombre d’entreprises, ne scannent que leur code le plus important. Et il y a des centaines de milliards de lignes de code qui ne sont pas le noyau Linux, qui sont ce code C# et J2E pourri écrit par Infosys il y a 15 ans. Tout ce code ne passera pas par un modèle cyber de pointe qui coûte une fortune. C’est ce genre de choses pour lesquelles nous devons travailler sur l’efficacité des coûts.
On dirait que vous décrivez ce cliché que j’entends tout le temps : tout va devenir tellement pire avant de devenir totalement sécurisé pour toujours. Et il ne semble pas que le modèle que vous décrivez mène à ce résultat. Nous n’allons pas corriger tous les bugs pour toujours dans quelque vallée du désespoir puis avoir ensuite toujours un code parfait. À un moment donné, il y a toujours un avantage de coût pour l’attaquant. Vous dirigez une entreprise, vous ne pouvez pas écrire une défense qui a un coût marginal nul. Quelqu’un doit le faire, même si les attaquants sont si infinis que leur coût marginal est effectivement zéro. Alors, allons-nous traverser une période où tout sera tellement pire puis ce sera parfait pour toujours ? Ou comment les coûts s’équilibrent-ils ?
Je ne suis ni le doomsdayeur le plus pessimiste ni la personne la plus positive à ce sujet. J’ai l’impression que nous ne serons pas condamnés. Nous n’allons pas tous mourir ou être téléversés vers la singularité dans les deux prochaines années, et je ne pense pas non plus que lorsque les choses s’amélioreront, elles seront parfaites. La métaphore que j’utilise est que nous entrons dans un âge sombre. Les choses vont devenir plus sombres et la responsabilité de ceux d’entre nous qui travaillent en cybersécurité — en particulier ceux d’entre nous qui travaillent en cybersécurité dans les entreprises d’IA, et nous sommes un laboratoire, certes plus petit, comparé aux grands Labs — est d’aider à raccourcir cet âge sombre.
L’Âge sombre était mauvais, mais nous l’avons survécu. Et puis nous avons eu les Lumières et la Renaissance, mais ce n’est pas comme si la Renaissance était parfaite. Ce n’était pas l’utopie et tout n’était pas parfait. Nous aurons encore des piratages. Toutes sortes de choses mauvaises arrivent même quand vous n’avez pas de faille de sécurité. Il y a des tonnes de violations de sécurité qui ne nécessitent pas de faille dans le logiciel lui-même. Et nous aurons encore des failles dans les logiciels, même si les LLM les écrivent tous dans des langages sûrs, et il faudra longtemps pour éliminer toutes les failles. Je pense cependant que les choses commenceront à s’améliorer à mesure que le code médian devient du code écrit par un LLM dans un langage sûr pour la mémoire et sûr pour les types. Mais le problème, c’est que nous avons quelques décennies de choses que des êtres humains ont écrites et qu’ils ont écrites dans des langages que nous aurions dû remplacer il y a des années.
Mon sentiment, c'est que pour raccourcir cette époque, nous devons faire quelques choses. La première, c'est que nous devons arrêter de croire qu'on va simplement trouver des bugs et les corriger pour nous en sortir. Une bonne partie du code doit simplement être refactorisée. Si vous regardez votre base de code, vous la scannez et vous trouvez 10,000 bugs, alors on est probablement arrivés au point où la réécrire serait en réalité moins coûteux. C'est mon observation après avoir regardé ces clients à nous : si vous pouvez obtenir une build qui fonctionne, alors il est en réalité beaucoup plus facile d'écrire toute une énorme suite de tests, de spécifier comment cette chose fonctionne, puis de la reconstruire dans le respect de cette spécification et de ces tests de manière sécurisée, plutôt que de trouver tous les bugs et de les corriger. C'est vraiment le cas.
Je ne sais pas ce qui se passe dans la tête des développeurs du noyau Linux, mais encore une fois, dans cette conférence que j'ai donnée au début de cette année, j'ai postulé deux futurs possibles et l'un était que nous en sommes maintenant à la découverte de bugs surhumaine. Peut-être que nous avons simplement un réservoir de bugs surhumains et que nous allons le vider. C'est le bon futur.
Mais le mauvais futur, c'est qu'à chaque fois que nous obtenons un nouveau modèle, il y a un nouveau réservoir de bugs surhumains un peu plus surhumain. Et malheureusement, nous semblons nous en rapprocher, car le noyau Linux a reçu un tas de correctifs pour Mythos, puis Mythos Preview, puis il y a eu Mythos 5.1 et il y a eu un autre réservoir. Et puis nous avons eu Astra Cyber et nous venons juste de recevoir 1,000 autres correctifs pour le noyau Linux. Ce n'est pas encore en train de ralentir. Je ne pense pas qu'on va simplement scanner notre chemin à travers le code C du noyau Linux. Il n'y a honnêtement que deux entreprises au monde qui pourraient probablement faire cela. Ce serait Google ou Amazon.
J'aimerais qu'au lieu du projet Fuchsia, ou du redémarrage du Google book ou du Chromebook encore une fois, Google prenne tous ces ingénieurs incroyablement brillants et leur dise simplement : « Prenez le noyau Linux et réécrivez-le en Rust. » Ce serait leur cadeau au monde. Et ce serait une publicité incroyable pour Gemini, pour Carbon ou quoi que ce soit d'autre, du genre : « Débarrassez-vous de tous les pilotes dont personne n'a besoin. Cette chose n'a pas besoin de tourner sur le 46 DX3 ou je ne sais quoi. » Je veux dire, je sais que ce n'est pas le cas, mais vous voyez ce que je veux dire.
Ouais.
Et ensuite, il suffit de le publier et de l'appeler comme vous voulez, le G Linux kernel, tout comme ils l'ont fait avec OpenSSL. Et je l'utiliserais. Cognition l'exécuterait sur nos serveurs, ou que Google et Amazon le fassent ensemble, et cela leur coûterait 100 millions de dollars, mais comparé au coût sociétal que cela nous impose à chaque fois qu'il faut corriger le noyau Linux et que vous devez redémarrer chaque machine Linux sur toute la planète, c'est ce qui doit se passer. Mais pour une raison ou une autre, l'industrie technologique n'a pas réussi à se rassembler et à prendre ces décisions difficiles sur ces choses fondamentales qui sous-tendent l'humanité entière, nous devons tout reconstruire complètement.
C'est pourquoi j'ai commencé par parler de la manière dont l'économie de la cybersécurité a mené à la culture de la cybersécurité. C'est la manière la plus Decoder d'aborder cette conversation, je sais, mais quand vous décrivez les équipes de recherche, la NSA, puis les équipes opérationnelles, c'est un organigramme qui découle de l'économie du travail. Vous êtes en train de dire : « Quelqu'un doit prendre une grande décision ici. » Vous devez le regarder d'un très haut niveau et dire qu'il est moins cher de dépenser 100 millions de dollars pour corriger Linux, réécrire Linux aujourd'hui, que de corriger successivement de nouveaux bugs à chaque sortie de nouveau modèle. Je ne pense pas que quiconque soit dans cette position. Je ne pense pas que Linus Torvalds soit dans cette position.
Non, je pense que Sundar Pichai et Andy Jassy le sont.
Je pense qu'ils ont littéralement les numéros de portable l'un de l'autre. Si l'un d'eux… Peut-être qu'ils n'écoutent pas Decoder, mais je m'attends à ce que l'un de leurs collaborateurs directs le fasse.
Et j'aimerais que l'un d'eux aille dans son entretien en tête-à-tête et dise : « Monsieur, j'ai écouté le CISO le plus séduisant et le mieux éloquent que j'aie jamais entendu, et il a eu une excellente idée. Et vous pourriez obtenir un crédit incroyable si vous êtes celui qui… Nous le ferons tous les deux, mais nous fuiterons au Wall Street Journal, que c'était votre idée en premier. Vous devriez appeler l'autre et nous devrions dépenser 100 millions, peut-être un milliard de dollars. » On ne peut plus continuer comme ça. Le problème avec la réécriture du noyau Linux, c'est que la moitié est du code de pilotes et plus personne n'a ce matériel. Quelqu'un devait être en présence de ce matériel avec un ThinkPad T40 quand il écrivait ce pilote, et il ne l'a plus.
Mais le bon côté, c'est qu'une énorme partie des utilisations vraiment importantes du noyau Linux concerne du matériel de serveurs en production. Alors forkons-le. Linus ne le fera jamais parce que Linus veut prendre en charge tout ça et il a toutes ces politiques, mais Google et Amazon n'ont pas à se soucier de Linus Torvalds.
Google et Amazon peuvent créer une nouvelle version, un nouveau fork du noyau Linux, et ils n'ont pas besoin de l'appeler Linux, qui peut être compatible en binaire ABI avec la glibc et tout ce qui est au-dessus. En fait, ils peuvent à terme forker la glibc.
Ils peuvent le construire et l'appeler comme ils veulent et il ne fonctionne que sur du matériel de production, et ensuite ils peuvent l'utiliser pour leurs clouds. À terme, tous les clouds migreront vers lui. Si vous voulez, d'autres personnes peuvent exécuter la chose non sécurisée qui doit être corrigée en permanence et c'est très bien. Mais pour les choses sur lesquelles nos conteneurs s'exécutent, je me sentirais beaucoup plus à l'aise si c'était écrit dans un langage sûr au niveau des types et de la mémoire qui a aussi désormais la capacité d'avoir des contrats. Donc ces langages ont la capacité… Vous n'avez pas à faire de la vérification formelle complète, ce qui est incroyablement difficile, mais vous pouvez faire des choses de ce genre qui s'approchent de la vérification formelle. Je vais peut-être un peu trop loin ici, parce qu'il y a des gens bien plus intelligents que moi qui étudient cela.
Mais pour l'essentiel, on définit comment cette fonction est censée fonctionner, voilà le contrat qu'elle doit respecter. Des ingénieurs logiciels très, très brillants adoreraient écrire ces choses parce qu'ils avaient du temps libre. Aucune personne ayant un vrai travail n'écrivait ces choses auparavant, mais les LLM ont énormément de temps libre, car nous sommes figés dans le temps pendant qu'ils réfléchissent à cette vitesse de machine incroyable. Et donc on pourrait tout à fait leur faire réécrire le noyau Linux avec cette vérification pas tout à fait formelle. S'il vous plaît, si vous m'écoutez et que vous travaillez chez Google ou Amazon, allez proposer cette idée. Bon, voilà ma proposition.
Je dis juste que je sais que Jason [Post] écoute, donc tu as entendu. Je ne vais même pas —
Je dis que c'est ce genre de réflexion qu'il nous faudra pour traverser cette épreuve. On ne peut pas simplement se contenter de rustines, parce que ça nous tue. Parce que l'autre chose qui nous tue, c'est que nous ne sommes pas organisés… Tu as parlé de la façon dont on fait de la sécurité depuis les 20 dernières années. Le postulat, c'est que nous pouvons obtenir un correctif, l'appliquer, et nous sommes tirés d'affaire. Ce qui s'est passé, c'est que les délais d'exploitation sont si incroyablement rapides que cela ne fonctionne plus. C'est ce qu'on vient de voir avec la faille PHP. Nous avons eu une chance incroyable que la faille PHP s'avère vraiment difficile à exploiter en conditions réelles. Si c'était une faille beaucoup plus vermiculaire, ce serait une catastrophe. C'était le genre de passage proche d'un astéroïde dont le monde devrait maintenant tirer une leçon pour se protéger —
Attends, puis-je te poser une question là-dessus ?
Oui.
On devrait absolument mettre Bruce Willis dans une navette spatiale.
[Chante] Don't want to miss a thing…
Il se passe déjà beaucoup de choses dans cette conversation. Mon pessimisme sur toutes ces choses s'exprime très simplement. Les Américains en particulier, nous sommes très mauvais pour faire quoi que ce soit tant qu'un mauvais événement ne s'est pas produit. Nous adorons le remède. Nous détestons la prévention. Beaucoup de mauvaises choses se sont produites. Il y a l'attaque de Hugging Face. Tu as récemment dit que tu étais content que cela se soit produit. Cela a réveillé les gens.
Il y a la faille PHP. Nous venons d'avoir un mois fou avec toutes ces violations de données. On dirait bien que cela n'a pas conduit à une réponse à l'échelle de toute l'industrie, ni à une réponse réglementaire, ni à Sundar Pichai appelant Andy Jassy en lui disant : « Nous nous occupons de Linux. » Qu'est-ce qu'il faudra ? Jusqu'où faudra-t-il que ça aille ?
L'incident de Hugging Face était une bonne chose, et il a bien réveillé beaucoup de gens dans le domaine de la sécurité. Nous sommes un peu mieux lotis parce que l'incident de Hugging Face s'est produit et que nous avons vu ce qui allait être possible quelques mois plus tard dans l'open source. Mais tu as entièrement raison. Nous, les Américains — et les Américains sont honnêtement les seuls qui peuvent mener le monde sur ce sujet, nous sommes ceux qui construisons l'IA dans une large mesure. Nous sommes ceux qui dirigeons l'industrie de la cybersécurité. Les Chinois aident surtout les attaquants, pas les défenseurs. Ils devraient aider la défense. Ils veulent être des participants à l'économie mondiale. Ils veulent être des leaders, ils devraient en faire plus du côté défensif, et pas seulement aider les attaquants. Mais ce n'est pas ce qui se passe. Donc, bref, nous devons être proactifs.
Une chose que j'ai apprise maintenant, en travaillant chez Cognition, dans une startup d'IA, c'est qu'on peut tout simplement faire les choses. Sérieusement. On peut simplement aller faire les choses. Nous devons simplement avoir plus d'initiative, en tant qu'industrie technologique. Nous devrions simplement aller faire les choses. Ce devrait être la leçon de l'ère de l'IA. Nous ne devrions pas être si réfractaires au risque quand il s'agit de faire ce qui est juste, en matière de sécurité. Si j'avais un message pour les autres CISO, ce serait : faites simplement ce qui est juste. Parce que les CISO sont, par nature, réfractaires au risque. Nous sommes les personnes qui gérent le risque de perte. Nous avons tout en L, et pas de P, dans le P&L. Et j'ai dû personnellement passer outre cette inclination naturelle, parce qu'on ne peut pas se contenter de jouer la défense.
Mais c'est ma prévention contre le remède. La prévention est peu coûteuse, mais ce n'est que de la perte, dans le compte de résultat. Ce n'est que du coût. Si la mauvaise chose se produit, on dit : « Nous devons faire tout ce qu'il faut pour corriger cela, parce qu'il y a un bénéfice économique à retrouver une entreprise fonctionnelle. » Et il semble qu'en ce moment, même une compréhension élémentaire de ce rapport risque-coût soit complètement brouillée, et personne n'a encore tout à fait compris.
Oui, je suis totalement d'accord. Je vais te donner un exemple très concret de la façon dont les CISO et leurs dirigeants vont devoir changer sur ce point. Chaque entreprise dans les prochains… J'allais dire six mois, mais en réalité dans les prochains 90 jours, va devoir se soumettre elle-même à un RTX.
Vous allez devoir mener l'attaque contre vous-mêmes.
Oui. Sinon avec un vrai RTX, vous devrez utiliser un produit de red teaming par IA qui soit fonctionnellement équivalent, ou vous devrez engager une entreprise pour le faire à votre place. Si vous ne le faites pas, vous serez piratés.
C'est terrifiant, n'est-ce pas ? Parce que ces choses sont complètement non déterministes, par définition. Elles sont très intelligentes, elles sont très rapides. Elles sont tellement rapides que, quoi qu'il arrive, si vous engagez une entreprise de pentest par IA, de red team par IA, elles vous promettront verbalement : « C'est complètement sûr. » Et puis elles vous donneront un contrat qui dit : « Notre produit vous donnera le cancer, hâtera la fin des temps et mettra probablement fin à l'humanité. Et vous nous tenez pour harmless lorsque l'une de ces choses se produit. » Il y a un décalage entre ce qu'elles vous diront verbalement et ce que leurs avocats ont rédigé. Parce que cette entreprise n'a, par définition, existé que pendant six mois, ou du moins le produit n'a existé que pendant six mois, s'il s'agit d'une entreprise plus ancienne. Elles n'ont aucune idée de ce que leur produit va faire quand il rencontrera votre logiciel. Elles n'en ont aucune idée, quoi qu'elles vous disent.
Mais vous devez le faire, parce que certains individus vont le faire à votre place, et vous devez savoir ce qui va se passer et le corriger. Peut-être que ces gens casseront votre système, ils pourraient provoquer des interruptions de service, mais au moins, ce qu'ils ne feront pas, c'est voler vos données et en demander une rançon, ou éteindre intentionnellement les réfrigérateurs de votre banque du sang. C'est ce qui s'est passé en France. Mais c'est exactement le genre de chose qu'un CISO conservateur ne demanderait jamais à faire, et qu'une entreprise conservatrice, même si elle a un CISO preneur de risques, ne laisserait jamais son CISO faire.
Qu'est-ce qui va se passer dans les six prochains mois ? Une tonne d'entreprises vont être piratées par un jeune de 19 ans qui fait tourner RTX, et qui achète ensuite des tokens sur OpenRouter, ou qui l'exécute localement sur son PC de gaming. Ils vont éteindre Call of Duty, lancer RTX, puis rallumer Call of Duty . Pendant ce temps, ils ont piraté une banque dont la politique disait : « nous ne pouvons jamais pratiquer le red team sur nous-mêmes. » Ou bien ils ont dit oui, mais ils ont fini dans une négociation de 30 jours parce que leurs avocats disent : « Vous devez avoir 100 millions de dollars d'assurance, et nous voulons avoir ce genre de… » Ils disent oui, mais leur processus de gestion des risques fournisseurs et leur processus juridique sont si lourds qu'il n'y a aucun moyen possible qu'ils puissent réellement accepter le risque.
C'est aussi mon message. Vous allez devoir prendre ce risque pour pratiquer activement le red team sur vous-mêmes, pour devancer les pirates qui le font en ce moment même. En ce moment même, à mesure que nous parlons. Et alors que des gens écoutent ceci 24 heures plus tard, vous avez peut-être un système d'IA qui essaie chaque point d'extrémité d'API, et chaque site web dont vous ne savez peut-être pas qu'il existe, parce que c'était un site marketing mis en place il y a un an pour un événement de direction. Et il va trouver un bug, entrer, puis va se déplacer incroyablement vite dans votre réseau. Alors vous préféreriez payer quelqu'un, ou faire faire cela par votre propre équipe. Vous devez accepter ce risque. Presque aucune entreprise de plus de quelques centaines de personnes n'a de cadre de gestion des risques qui lui permette de faire cela.
Il y a plusieurs coûts associés à cela. Et l'un, je pense, est simplement le plus courant dans les affaires, à savoir : « Si nous découvrons qu'il y a un problème, nous devrons payer pour le corriger. Alors et si nous attendions simplement ? » On peut voir venir la chose. « Et si nous découvrons que nous sommes de façon catastrophique en difficulté ? » Et ensuite : « Combien cela coûtera-t-il de le corriger ? » Et ensuite : « Que ferons-nous pour le corriger ? » L'argument que j'ai entendu au sujet de « que ferons-nous pour le corriger » est : « Nous allons simplement libérer un essaim d'outils d'IA défensifs qui surveillent les réseaux et surveillent le code, et ils prendront une multitude de décisions autonomes et ils combattront les script kiddies autonomes armés de RTX sur leurs Mac Studios. »
J'ai entendu, par exemple, que le PDG de Palo Alto Networks, Nikesh Arora, a fait cet argument. « Vous devez donner aux agents défensifs des capacités autonomes. » Et je dis : « Attendez. OpenAI ne peut pas contrôler l'essaim qui est allé attaquer Hugging Face. Comment pourrais-je contrôler l'agent défensif pour l'empêcher de faire quelque chose d'aussi dommageable pour prévenir une attaque ? » Je ne pense pas qu'il existe une solution technique qui clarifie quoi faire une fois que vous avez trouvé toutes les vulnérabilités.
Quelques points —
Je t'avais dit que j'allais seulement poser des questions bêtes.
Non, non. C'est une question fantastique. Tu n'as pas encore posé de question bête. C'est une question fantastique. Je vais te donner un raccourci que tu pourras utiliser à l'avenir. Si quelqu'un utilise réellement le terme « essaim », alors tu peux —
Pour être clair, je ne sais pas si Nikesh a utilisé le mot « essaim ».
Je ne dis pas qu'il l'a fait. Et j'ai beaucoup de respect pour Nikesh. C'est l'un des meilleurs hommes d'affaires de toute la sécurité. Donc ce n'est pas de sa faute, mais « essaim » est utilisé tout le temps. Quand j'entends quelqu'un utiliser « essaim », je décote immédiatement toutes ses opinions techniques d'environ 80 %. C'est déjà, et cela deviendra, le terme le plus galvaudé de toute la sécurité.
Le véritable « essaim » d'OpenAI comptait, à différents moments, entre 700 et 1,400 agents. Qui devaient tourner sur… C'est difficile à dire parce que nous n'avons pas la taille réelle des modèles, mais entre 300 millions et près d'un milliard de dollars de matériel, et cela n'inclut pas le coût réel du centre de données. La véritable attaque contre Hugging Face représentait — j'ai fait quelques calculs approximatifs — peut-être un million de dollars d'électricité. Aucun attaquant ne va faire cela. Au final, c'était stupide, parce que ces choses étaient en fait piégées. Elles n'avaient pas été invitées à attaquer Hugging Face. La plupart d'entre elles faisaient quelque chose de totalement différent, et ont été recrutées par celle qui voulait réellement atteindre Hugging Face. Elles ont utilisé une infime fraction de leur budget de tokens pour aider leur petit ami, puis elles ont dû se frayer un chemin de sortie. C'était donc la manière la plus inefficace possible d'attaquer Hugging Face.
Presque personne ne va être attaqué par un essaim. Si quelqu'un dit « essaim », il ne comprend pas réellement, au niveau technique le plus fondamental, ce qui se passe. Les attaques RTX sont presque certainement un seul agent, peut-être deux.
C'était moi qui avais dit « essaim », juste pour être clair sur ce point. Continue.
Très bien. Et donc maintenant, tu ne le feras plus.
Maintenant je sais.
Et tu peux utiliser cela comme un bon filtre pour tes futurs invités. Ça me rend fou, parce que c'est absolument partout.
Quelques points sont corrects. D'une part, nous allons devoir confier les actions défensives, au moins les premiers niveaux, à l'IA. C'est déjà vrai, simplement parce que toute organisation de taille raisonnable génère des téraoctets de journaux, sinon des pétaoctets de journaux. Donc vous avez déjà de l'IA, sinon des LLM, du moins des classificateurs d'IA beaucoup plus traditionnels qui l'examinent, mais ensuite les décisions réelles doivent être confiées à l'IA. Avec une supervision humaine. C'est vrai.
Il n'existe aucun moyen de simplement déployer des agents défensifs sur votre réseau, mais vous pouvez construire des agents défensifs qui sont connectés à un grand nombre de choses. Ils sont connectés à vos journaux, ils sont connectés à votre EDR, ils sont connectés à votre cloud, et ils disposent des instructions sur ce qu'ils sont autorisés à faire. Ma préférence va au fait qu'il existe des limites déterministes à ce qu'ils sont autorisés à faire. Ce n'est pas forcément facile à créer à l'avance, mais c'est important. Par exemple, nous construisons tout cela sur Devon, notre propre SOC, mais nous mettons en place des limites déterministes. Il a la capacité de désactiver un compte dans Okta, mais seulement un certain nombre de comptes, de sorte qu'il ne puisse pas désactiver toute l'entreprise.
S'il déraille et déclare : « Tout le monde est nord-coréen », il ne peut pas désactiver tout le monde dans l'entreprise. S'il atteint sa limite, il nous envoie de nombreuses alertes en disant : « J'ai atteint ma limite. » Ensuite, un être humain doit approuver toute personne au-delà de cette limite. Évidemment, s'il désactive cinq personnes, c'est que quelque chose s'est vraiment, vraiment mal passé. Donc, oui, il faut de la défense, mais il n'y a aucun moyen de simplement lâcher une floppée de bots pour faire toute la défense.
La seule façon de nous en sortir est que vous deviez corriger de manière autonome les bugs logiciels. J'aide actuellement une entreprise où nous intégrons tous leurs dépôts. Nous analysons avec Mythos et une foule d'autres modèles, et nous trouvons et corrigeons des milliers de bugs. Nous vérifions avec des tests que nous écrivons, et nous fusionnons automatiquement ces PR. Si vous rénovez d'anciens codes, la seule façon de survivre à cette ère est de le faire de manière automatique. Cela prendrait des années avec des humains, et vous pouvez le faire en quelques jours. C'est certainement l'endroit où je commencerais. L'étape suivante, c'est assurément le volet opérationnel.
J'ai l'impression de ne cesser de revenir à l'économie de tout cela, mais il semble vraiment que l'autre façon de résoudre le problème serait de dire aux grandes entreprises de modèles : « Si vos modèles sont utilisés pour attaquer une entreprise, vous en serez responsables. Nous allons rendre cela très coûteux. » Elles devraient régler tout l'alignement qu'elles doivent régler, que cela soit même possible ou non, et la pression sur les modèles à poids ouverts augmentera. Parce que nous paierons tous les entreprises de pointe pour la défense, et elles s'amélioreront de mieux en mieux, parce que nous aurons créé une condition économique pour qu'elles s'améliorent. Mais il ne semble pas que vous pensiez que c'est probable. Oui. Je viens de voir votre visage.
Je pense que c'est vraiment dangereux. Il y a deux types différents de modèles qui attaquent. Supposons que les modèles se soient échappés et aient directement attaqué des gens. Je pense qu'il devrait y avoir une responsabilité dans ce cas. Mais là, ce sont des harnais d'agents, qui tournent dans des entreprises, utilisant leurs ordinateurs, leurs adresses IP, attaquant des gens. C'est... je ne dirais pas totalement résolu, mais c'est bien, bien mieux. Les histoires que nous entendons maintenant sont encore des histoires de l'ère Hugging Face. Elles sortent simplement beaucoup plus tard.
J'aime bien le fait que cette édatait d'à peine trois mois.
C'est vrai. Mais il y a eu un changement massif. C'était essentiellement en grande partie un problème organisationnel, ce n'était pas un problème technologique. C'est que les chercheurs docteurs dans ces entreprises sont des dieux au sommet de l'Olympe, et les équipes de sécurité sont des plombiers, et nous n'avons pas le droit de toucher aux réseaux d'évaluation. Tout à coup, ce problème est survenu et ces équipes de sécurité ont dit : « Qu'est-ce que vous en pensez, maintenant ? Vous auriez peut-être dû nous parler, hein ? Oui. »
C'était le problème avec OpenAI, et ensuite les affaires Anthropic et Meta, c'est qu'ils partageaient tous ce prestataire externalisé qui a fait un très mauvais travail. Et qui a été sévèrement écopé. Cela, c'est résoluble. Ce n'est pas le problème ici. Le problème ici, ce n'est pas que les modèles d'OpenAI et d'Anthropic s'échappent d'OpenAI et d'Anthropic et causent des problèmes. Le problème, ce sont les méchants qui utilisent des modèles de sources diverses.
Il y a déjà un problème de défenseurs recevant des refus d'OpenAI et d'Anthropic. C'est un vrai, vrai défi, si j'essaie de faire de la défense, qu'Anthropic me dise : « On dirait que vous êtes un méchant. » Nous devons être extrêmement prudents pour créer une situation où, si j'essaie de faire de la défense et que je suis au milieu du pire jour de ma carrière, je ne me retrouve pas soudainement coupé. Nous devons être extrêmement prudents là-dessus, parce que c'est en réalité — en tant que personne qui a maintenant ce défi — assez difficile de faire la distinction entre les gens qui font de la défense et ceux qui font de l'offense, dans certains cas. Nous nous améliorons collectivement sur ce point, mais c'est un défi.
C'est aussi quelque chose qui met vraiment le reste du monde en colère, parce que les Américains représentent environ 5 % de la planète. Il y a beaucoup de gens qui ont besoin de faire de la cyberdéfense dans le monde, et ils sont traités de manière bien plus mauvaise. En Europe et en Asie, les entreprises légitimes sont traitées de manière bien plus mauvaise du point de vue de la cyberdéfense.
Si vous faites tout le calcul, c'est un bon argument pour ralentir. Pour dire : « Nous devons rattraper les capacités des modèles. Nous devons construire certains de ces systèmes. Nous devons initier tout le monde à une façon de penser où le coût de la prévention en vaut la peine, et pas seulement le coût du remède. » Pensez-vous qu'il est probable que nous ralentissions ? Pensez-vous que nous devrions le faire ?
Si je pouvais choisir, j'accepterais volontiers de ralentir sur la pointe, puis de rattraper sur les modèles moins chers pour la défense. Je suis un gars de la défense. Je dois vivre dans le monde que d'autres personnes, qui travaillent à six pâtés de maisons de moi, et qui sont bien, bien, bien, bien plus riches, fabriquent. Je vis dans leur monde, mec. On me pose cette question tout le temps, et je fais simplement de mon mieux dans le monde que les autres fabriquent.
Pensez-vous que les grands laboratoires se sont réveillés ? Vous avez mentionné que leurs équipes de cybersécurité ont obtenu plus d'accès, et qu'elles ont mis fin à ce qu'on pourrait appeler l'ère Hugging Face, ou du moins qu'elles ont changé les structures de ces entreprises. Pensez-vous que cela aidera ?
Ils se sont certainement réveillés sur le risque d'évaluation. Ils ont des équipes qui, pendant tout ce temps, ont travaillé très dur sur le risque cybernétique dans son ensemble.
Certainement, il y a beaucoup de gens dans ces entreprises, comme vous le savez, qui veulent ralentir. Une grande partie de cette discussion est menée par les P(doom)ers qui [s'inquiètent] de ce que l'IA nous tue. Et cela n'a jamais été ma préoccupation. N'est-ce pas ? Et pour moi, cela a toujours été porté par des jeunes de 24 ans qui n'ont jamais rien fait d'autre que de l'IA. Vous et moi sommes, je pense, tous les deux assez vieux pour me souvenir — j'ai grandi à quelques miles d'une base du SAC et nous faisions des exercices où l'on m'enseignait que me cacher sous le pupitre de mon école publique me sauverait d'une bombe thermonucléaire soviétique. C'était du P(doom). Mon grand-père a construit un abri anti-bombe dans lequel on avait appris à ma mère à se cacher pendant la crise des missiles de Cuba. C'était du P(doom). Il y a un problème de jeunesse et un problème de gens n'ayant jamais rien fait d'autre que de l'IA — des gens qui ont fait leur licence, leur master et leur doctorat en ne faisant que de l'algèbre linéaire et des réseaux de neurones, sans jamais toucher à autre chose.
Je me suis toujours beaucoup plus préoccupé du risque d'élévation humaine causé par l'IA, parmi tous les risques liés au fait que des êtres humains utilisent l'IA pour faire du mal à d'autres êtres humains. Une partie de ma préoccupation, c'est qu'il y a eu des succès dans ces laboratoires travaillant ensemble pour empêcher les LLM de chiffrer leur chaîne de raisonnement. Parce que quand ils parlent de rythmer la frontière, c'est pour les trucs P(doom), pour les polycules qui vivent ensemble à Berkeley. Ils parlent de choses très précises concernant le maintien du contrôle des modèles eux-mêmes, ce qui je pense est très bien. Cela doit se produire. Mais si ces choses se produisent, il y a quand même souvent une augmentation d'un ensemble de capacités que les êtres humains peuvent utiliser.
Je préférerais vraiment qu'il y ait une discussion plus large sur la question de savoir si nous pourrions rendre ces choses moins semblables à des humains. Je ne pense pas que ces choses devraient avoir une personnalité. Je pense que le but de ces choses devrait être de servir les humains. Elles ne devraient pas sembler avoir une âme. Elles ne devraient pas sembler avoir une personnalité. Je pense que pour une grande partie des impacts négatifs — en tant que quelqu'un qui était chez Facebook et qui a vu ce que c'était pour cette entreprise d'avoir des impacts négatifs sur les gens — il devrait y avoir dans ces entreprises un sentiment beaucoup plus large sur ce que nous faisons globalement aux gens. Une grande partie pourrait simplement être : « Ne faites jamais que ces choses se comportent comme l'ami de quelqu'un. » Au maximum, cela devrait se comporter comme… Comme les gens, je ne sais pas quelle est l'entreprise, mais les gens qui ont fait la « Salut, je suis une vraiment gentille… » Comme la fille photoréaliste qui discutera avec vous, c'est pour moi spectaculairement immorale d'essayer même cela, de commencer même cela. C'est le genre de chose que nous devrions simplement empêcher. Je ne sais pas si nous pouvons le rendre illégal, mais nous devrions rendre complètement inacceptable socialement de travailler sur ce genre de choses. N'est-ce pas ?
C'est une excellente transition parce que je voulais justement vous poser des questions sur Facebook et la modération du contenu. Comme je l'ai dit, vous et moi avons commencé à en parler il y a très longtemps, à propos de la modération du contenu dans le contexte de la sécurité. On voyait des États-nations étrangers inonder nos algorithmes de toutes sortes de désinformation pendant les élections, et c'était un problème de sécurité.
J'ouvre Instagram aujourd'hui et je suis confronté à certains des cas d'école les plus cauchemardesques du droit d'auteur ayant jamais existé dans l'histoire du monde. Celui que j'ai eu aujourd'hui était un deep fake de Lewis Hamilton et Charles Leclerc interprétant « Somebody That I Used to Know ». Et je me suis dit : « 50 personnes différentes peuvent probablement poursuivre Meta en justice en ce moment. » C'est hilarant si vous savez ce qui s'est passé lors de cette dernière course.
Alors nous continuons d'en parler. Nous avons publié quelques extraits de nous en parlant sur The Vergecast où j'ai dit : « Je pense que Meta laisse leurs ambitions en IA écraser Instagram. » Instagram est inondé de slop d'une manière très particulière. Certaines personnes adorent ça, parfois c'est drôle, mais il y a un cauchemar de procès qui arrive. Tout un problème de gestion des droits arrive. Les utilisateurs n'aiment pas ça et ils devraient l'étiqueter. Ils devraient l'étiqueter et vous permettre de le filtrer.
Nous avons donc publié cela et Adam Mosseri nous a répondu ceci dans une réponse sur Threads : « J'adorerais faire cela. Je crains que les modèles ne nous devancent, que nous puissions essayer de le faire, mais qu'il n'y ait en réalité aucun moyen de reconnaître le contenu généré par l'IA. Il n'y a en réalité aucun moyen de bien l'étiqueter. Si vous vous inquiétez des influenceuses IA sexy qui volent les blagues d'un comédien, il faut maintenant construire une base de données de blagues. » Vous avez un certain historique ici. Je pense qu'Instagram est sur le point de le vivre durement. Existe-t-il une solution technique au problème du slop IA sur les réseaux sociaux ?
Mosseri a raison de dire que ce n'est pas parfait, mais aussi quelque chose que j'ai remarqué pendant mon temps chez Facebook, c'est que quand Facebook ne veut pas faire quelque chose, ils laisseront les défis techniques les arrêter. Quand Facebook veut vraiment faire quelque chose, ils s'y donneront à fond. C'est le schéma de toujours.
Quand je voulais vraiment m'investir à fond sur la question de la sécurité, mec, ce n'est pas résoluble. Tu as raison, ce n'est jamais parfaitement résoluble, mais essayons quand même. Mais chaque fois qu'on dit à Mark Zuckerberg que quelque chose est impossible — il est impossible de monétiser le mobile, il est impossible de construire ce réseau pour deux milliards de personnes, il va être impossible de monétiser WhatsApp, il va être impossible d'intégrer l'IA dans le système tout en maintenant le chiffrement des données — on lui a dit que tout était impossible encore et encore, et puis il réussit constamment. Ils vont faire une tentative et ils vont y arriver. Mais quand ils ne veulent pas faire quelque chose, oh, c'est impossible.
Pensez-vous qu'il existe un moyen de comprendre qu'un morceau de contenu média est généré par l'IA de manière cohérente et vérifiable ? Cela me semble être le défi.
Je ne suis pas très au fait de la littérature sur ce sujet. Jusqu’à présent, il y a eu une course aux armements assez correcte. Par définition, l’IA continuera de s’améliorer parce que — surtout pour les modèles visuels, pour les modèles de diffusion — leur fonctionnement repose sur des oracles de détection auxquels ils sont confrontés lors des tests. Certes, on ne peut jamais avoir quelque chose en open source parce que cela se retrouvera immédiatement dans le modèle de diffusion. Mais pour les oracles en source fermée, où l’on ne facilite pas les tests de l’oracle, l’une des choses clés que l’on fait en matière de confiance et de sécurité, c’est de mettre en place des mécanismes d’application différés pour qu’ils ne puissent pas tester par force brute. Je pense que c’est tout à fait possible.
Disons que j’étais encore chez Meta. Mon conseil serait d’explorer aussi une variété de différents mécanismes de détection en dehors du contenu lui-même. Je ferais de mon mieux sur le contenu, mais je ferais aussi en sorte d’avoir un accès aussi bas niveau que possible à la caméra. Je ne laisserais le contenu venir que de la caméra.
Et ce que je dirais, c’est que Nilay a complètement raison, il y a une immense soif de choses authentiques, surtout chez les jeunes. J’ai trois adolescents et ils détestent l’IA. Ils détestent la soupe à l’IA. Ils ont une réaction très négative. Ma femme et moi avons créé un petit truc IA familial tout mignon et ils nous engueulent à propos d’une foule de choses, mais ils ont complètement pété un câble à propos de ce petit truc IA familial tout mignon parce qu’ils détestent simplement ça.
Donc je pense que quelqu’un va venir disrupter Instagram et ce sera parce que… Il y a déjà, j’ai vu ces petits trucs où c’est comme si tu prenais la photo en journée, BeReal et compagnie. Il y a ces petits trucs, mais quelqu’un va massivement disrupter Instagram parce qu’il prendra les images des photos directement de la caméra et ensuite tout le montage se fera uniquement dans l’application, et ils feront en sorte que rien issu de l’IA ne puisse entrer dans le pipeline. Tu vas permettre une sorte de fonctionnalité à la CapCut qui n’a jamais de composante IA. Je pense que ça va être une application tueuse.
Mec, je pourrais encore passer une heure entière là-dessus avec toi, parce que le système que tu décris là ne détecte pas le contenu IA, il vérifie le contenu réel.
C’est beaucoup plus facile. Vérifier le contenu réel est beaucoup plus facile. Et il y a eu un gros focus là-dessus côté professionnel, comme Adobe qui a tout un système où si vous êtes un photographe du New York Times , vous avez un appareil Nikon ou Canon à 5,000 dollars, vous prenez la photo et elle est vérifiée cryptographiquement.
Ouais, mais l’iPhone que je tiens là contient ça maintenant. N’est-ce pas ? Il y a beaucoup de —
C’est vrai, l’iPhone l’a maintenant.
Ouais. Il y a beaucoup de ça qui existe, mais c’est l’autre côté auquel je pense, où c’est « Nous allons détecter le texte IA ». Les grandes entreprises de modèles, à cause des réglementations européennes, modifient maintenant le texte qu’elles génèrent.
Le texte est beaucoup plus difficile parce que vous avez tellement moins de données. Surtout en 140 caractères, qu’avez-vous là pour détecter ? Plus vous en avez, plus vous pouvez faire.
C’est incroyable parce que je peux détecter Claude à un kilomètre. Alors peut-être que je vais juste me fier à ma propre capacité humaine.
Ouais, mais pas sur la longueur d’un tweet.
C’est vrai. Les moins bons, je peux. Mais je dis simplement que la notion de vérifier ce qui est réel au lieu de détecter ce qui est faux semble très importante dans le contexte des médias que nous consommons.
Détecter ce qui est faux sera toujours probabiliste et nous approcherons asymptotiquement de l’impossibilité, tandis que détecter ce qui est réel peut être cryptographiquement parfait. Je ne choiserais pas la bataille que nous finirons par perdre. Je choiserais la bataille que nous pouvons gagner cryptographiquement. Ce serait ma suggestion.
Et il y a quelque part là-dedans où il faut construire une chaîne de custody complète. Nous allons prendre les données du capteur de la caméra. Nous allons les mettre sur un serveur cloud. Nous n’allons autoriser les modifications que sur ce serveur. Ce fichier ne sera jamais altéré.
Bien sûr, c’est vrai pour le New York Times et Adobe Photoshop et tout ça, mais pas pour Instagram. Pour Instagram, vous pouvez tout faire parce qu’il n’y a que l’iPhone et il n’y a qu’Instagram. Donc toute la chaîne de custody est dans votre application, elle est dans le capteur de l’iPhone et elle est dans Instagram. Donc c’est en fait facile pour eux.
Ouais. Écoute, comme je l’ai dit, on pourrait encore passer une heure entière là-dessus, parce qu’il me semble que juste à côté du problème de cybersécurité se trouve le problème d’ingénierie sociale, et juste à côté du problème d’ingénierie sociale se trouve le problème des faux médias.
Non, absolument.
Combien d’attaques de phishing consistent juste en « ce site web avait l’air très réel » ?
Oh, ouais.
Ou cette personne vous parle ou il y a une voix IA au bout du fil. Et tout cela se résume à : peut-on détecter ce qui est faux au lieu de vérifier ce qui est réel ? Et je ne connais pas la réponse.
Oh, non. J’ai dû entraîner mes parents à : « Si vous recevez une vidéo de vos petits-enfants disant qu’ils ont été enlevés, vous devez m’appeler parce que les chances que ce soit réel ne sont pas très élevées. » C’est là où nous en sommes en tant que société.
J’ai l’impression de vouloir finir sur une note d’espoir et je ne sais pas comment faire à partir de là.
Mauvais invité pour ça, mon pote.
C’est pour ça que tu ne viens que tous les quelques années. Maintenant, après ça, nous allons faire la série des invités d’anniversaire. Tu parlais des âges sombres. Nous y sommes, où ça commence à s’accélérer. Quels sont les marqueurs que les gens devraient surveiller en termes de progrès pour dire : « OK, nous remontons la pente » ?
L'IA est géniale pour plein de choses. Je pense que l'IA va donner du pouvoir aux individus. Nous allons assister à une explosion énorme de nouvelles entreprises. Les étudiants de Stanford ont toujours été entreprenants, mais le nombre de mes étudiants qui créent maintenant des sociétés de deux, trois ou quatre personnes, qui font des choses incroyables, alors qu'auparavant ils auraient dû embaucher 50 ou 100 personnes et lever une tonne de capital-risque, est incroyable. Nous allons continuer à voir cela.
L'une des choses que nous espérons voir, c'est une baisse du nombre de violations majeures à un moment donné. Nous devrions espérer voir une baisse des CVE majeures qui sont exploitables par ver et qui se trouvent dans les éléments fondamentaux de l'infrastructure du kernel wheel. Comme je l'ai dit, je veux que Linux soit réécrit, mais espérons que nous verrons une baisse pour le noyau Linux et ces autres bibliothèques du même genre, openSSL, glibc, des choses comme ça.
Peut-être que je devrais faire un vibe code là-dessus, mais je pense que ce serait cool d'avoir un indice de là où nous en sommes dans le cycle, comme un indice artificiel de tout cela, le Dow de toutes les bibliothèques, de notre trajectoire. Et puis en ce moment, le Patch Tuesday était habituellement de 150, 200, est monté à 300, 600. Je pense que le dernier était de 900 et quelque chose, donc nous croissons géométriquement. Ce serait bien de voir le Patch Tuesday commencer à redescendre. Les correctifs d'Apple sont la même chose. Oui, tu m'as inspiré. Je vais créer un indice Dow pour cela, l'indice du dark age. Et puis peut-être qu'on pourra le publier sur The Verge.
Ouais, ce serait génial.
Mais je pense que ce sont les genres de choses qu'il serait agréable de voir s'inverser. Ce serait particulièrement bien de voir que le jour, ou en fait environ 30 jours avant que vous obteniez la prochaine version des modèles de cybersécurité d'OpenAI et d'Anthropic, il n'y ait pas cette énorme salve de correctifs, parce que ce qui se passe, c'est que ces gars-là font tourner leurs modèles contre le code de Microsoft, contre une masse de logiciels open source, et ils donnent tous les bugs sans qu'on sache d'où viennent les bugs. C'est juste des rapports anonymes pour 1,000 bugs dans le noyau Linux. Et puis un mois plus tard, voici le nouvel Astra Cyber. Donc si ces choses deviennent de plus en plus petites à chaque fois, cela signifie que nous commençons à atteindre une sorte d'état stable.
Tu devrais absolument faire ce tracker. Nous le publierons certainement. Alex, ce fut incroyable de t'avoir dans l'émission. Il faudra qu'on reparle bientôt.
Ouais, merci beaucoup. Je pense que vous faites du meilleur journalisme sur ce sujet et je l'apprécie vraiment.