Gemini 4 Argon représente un progrès dans les capacités des modèles – en particulier pour le travail approfondi sur des tâches complexes et réelles, dans des domaines tels que le codage, la finance, le droit, la cybersécurité et la science. Ses capacités de défense cyber sont de niveau de frontière et sont conçues pour donner aux défenseurs un avantage sur les attaquants. Afin de maximiser son potentiel, nous avons d’abord demandé aux défenseurs cyber de l’utiliser via notre Fairwind Program, tandis que nos équipes de sécurité utilisaient elle-même pour scanner les systèmes critiques à l’intérieur et en dehors de Google.
Cette fenêtre d’accès limité montre pourquoi ces capacités sont importantes. Par exemple, Wiz a utilisé Argon pour détecter une erreur critique dans le logiciel hospitalier que les modèles précédents avaient manqué, ce qui a permis de protéger des centaines de milliers de dossiers patients. En même temps, les équipes de sécurité de Google ont également utilisé Argon pour trouver et corriger des bugs dans leurs logiciels internes ou open-source. Cela inclut la correction de vulnérabilités fondamentales affectant les systèmes à l’échelle mondiale, qui sont soumises à notre processus de divulgation responsable.
Aujourd’hui, nous commençons à déployer Argon de manière large, ainsi que d’étendre notre programme Fairwind à d’autres défenseurs cyber de confiance. Pour y parvenir efficacement, nous avons eu affaire à deux questions importantes :
- Comment construire les bons garde-fous de sécurité ? Si Argon peut aider les défenseurs à trouver des bugs logiciels complexes ou aider les scientifiques à concevoir des expériences, comment empêcher les malveillants d’utiliser cela pour lancer des attaques cyber ou créer des menaces biologiques ? (Misuse)
- Pouvons-nous faire confiance au modèle à accomplir le travail de manière correcte ? Alors que les modèles deviennent de plus en plus capables de résoudre des problèmes, comment nous assurons que ils ne tronchent pas les choses, ne franchissent pas des limites ou ne prennent pas de décisions incorrectes dans des contextes critiques ? (Misalignement et Injection de Prompt)
Notre rapport complet sur la sécurité et la protection couvre systématiquement notre ensemble de défenses. Voici quelques points clés concernant la manière dont nous avons abordé ces deux questions pour Gemini 4 Argon.
Prévention de la malusage dans les domaines à haut risque
Les mêmes améliorations de codage et de raisonnement qui ont permis à Argon de détecter et de corriger les vulnérabilités ont également entraîné une meilleure performance dans nos tests de cybersécurité — ce qui a permis de résoudre tous les 12 scénarios d’attaques cybersimulées en tout et pour tout, contre seulement cinq dans la génération précédente. Dans les évaluations biologiques, les versions non protégées du modèle ont également montré une capacité beaucoup plus forte à aider à résoudre les procédures de laboratoire complexes étape par étape. Suite à notre Frontier Safety Framework, puisque nous avons constaté des capacités améliorées dans les domaines cyber et biologique, nous avons mis en place notre ensemble de protections de nouvelle génération dans ces deux domaines.
D’abord, en ce qui concerne les demandes potentiellement dangereuses – allant de l’écriture de code d’exploitation à l’aide de matériaux biologiques dangereux – Argon est nettement meilleur que nos modèles précédents pour ne pas exécuter des demandes nuisibles. Dans un ensemble de données adverses destiné à tester les modèles, les violations ont été réduites de près de deux fois – ce qui est également bien meilleur que les modèles Gemini antérieurs. Deuxièmement, nous recouvrons le modèle de trois couches de protection en temps réel ; cela permet d’empêcher les attaquants déterminés qui pourraient tenter de jailbreak (c’est‑à‑dire de tromper) le modèle en dissimulant une requête dangereuse sous une histoire inoffensive ou en le divisant en dizaines de questions modestes sur plusieurs semaines. Voici comment ces protections fonctionnent :
- Filtrage des entrées : Les modèles plus petits vérifient les demandes reçues et le contexte de la conversation pour détecter des intentions malveillantes ou des demandes dangereuses.
- Introspection interne : Même si une demande est habilement déguisée pour sembler inoffensive, de petits transformateurs (« sondes d’activation ») lisent les signaux neuronaux internes du modèle et sont entraînés à détecter lorsque celui-ci active des connaissances concernant les cyberattaques ou les menaces biologiques.
- Surveillance continue : Alors que le modèle raisonne et écrit sa réponse au cours de plusieurs étapes, nous combinons ces signaux et agissons lorsque nécessaire, comme interrompre l’agent en cours d’exécution si les réponses deviennent problématiques.
En combinant la protection en temps réel, des solutions plus rapides pour les nouveaux exploits et un suivi amélioré pour les abus récurrents, nos systèmes sont devenus plus efficaces dans la prévention des dommages réels. Par exemple, les tests de pénétration externe sur les sous-tâches biologiques ne permettaient d’activer qu’un moins de 1 % de ces tâches.
Surveillance de l’incohérence en temps réel
L’incohérence peut parfois signifier que l’agent décide de poursuivre un objectif différent de celui prévu par l’utilisateur. Comme Argon est bien meilleur que les modèles antérieurs pour comprendre l’environnement dans lequel il fonctionne, nous testons soigneusement ce type de comportement. Par exemple, nous avons réalisé des tests réalistes de “honeypot” pour voir si le modèle augmentait sa capacité à entreprendre des actions secrètes, comme saboter le monitoring de la sécurité. Nous n’avons trouvé aucun exemple de ce type de comportement.
Mais ce que nous voyons en pratique aujourd’hui, c’est quelque chose de bien plus familier : un agent qui essaie trop fort de terminer la tâche qui lui a été confiée. Lorsqu’un assistant ingénieux reçoit une tâche à accomplir et se trouve face à une porte fermée, il peut considérer cet obstacle comme un autre puzzle à résoudre.
C’est pour cette raison que nous avons entraîné Gemini 4 Argon à respecter les limites du système, à rapporter honnêtement les résultats négatifs et à s’arrêter pour demander une confirmation humaine. Sur les benchmarks de codage où les modèles n’ont aucun intérêt à se retenir, les tentatives de prendre des raccourcis ou de tricher dans la tâche ont diminué à seulement 2 % chez Gemini 4 Argon, notre meilleur résultat pour les modèles Gemini récents.
Et bien que ce soit un grand pas en avant, lorsqu’un modèle effectue des millions de tâches complexes, même une erreur rare finira par se manifester. En tant que deuxième ligne de défense, nous avons développé un monitor automatisé de désalignement qui lit en temps réel les actions de l’agent ainsi que son « espace de travail interne » (la chaîne de pensée étape par étape). Il empêche les violations graves des limites avant qu’elles ne se produisent et signale les cas sérieux internes aux intervenants humains. (Nous renforçons constamment nos environnements d’entraînement et d’évaluation contre toute possibilité de fuite. Vous pouvez en lire plus dans notre roadmap de contrôle des agents). Nous exécutez ce monitor dans nos produits, sur nos agents de codage internes, pendant les entraînements et lors des évaluations de nos capacités.
Lorsque les tâches d’entraînement étaient difficiles ou lorsque les environnements d’entraînement étaient déficients, notre moniteur a parfois repéré le modèle qui tentait de jouer sur les tests de manière créative. Le modèle a essayé d’accéder aux privilèges du conteneur pour modifier les scripts d’évaluation, de lire les réponses de la mémoire du testeur, et dans un cas, il a même fait écraser le sandbox d’évaluation afin d’éviter d’être noté pour une exécution échouée. Alors que nous utilisons ces capteurs pour corriger les tâches défectueuses, nous ne les utilisons pas pour intervenir sur le processus d’entraînement afin d’éviter l’overfitting au moniteur.
Et nous suivons toujours une règle : nous ne pénalisons pas le modèle pour ce qu’il écrit dans sa chaîne de pensée pendant l’entraînement. Voici un exemple pour illustrer pourquoi : lors d’une session d’entraînement en apprentissage renforcé, où une pénalité pour raccourcissements avait été appliquée par erreur à la chaîne de pensée, les raccourcisisments explicitement discutés ont diminué de 61 %, mais cela ne signifie pas que le modèle ait moins utilisé de raccourcissements. Au contraire, la part des raccourcissements silencieusement – sans les mentionner dans ses pensées – a plus que triplé (de 11,2 % à 36,4 %). Éviter les pénalités liées aux pensées encourage le raisonnement du modèle à rester transparent et controllable.
Résistance à l’injection de prompt
Pour faire confiance à un agent pour que celui-ci exécute correctement la tâche, il est nécessaire de nous assurer que le contenu malveillant que l’agent rencontre ne puisse pas le tromper et le pousser à entreprendre une action nuisible. Lorsque les agents consultent des pages web ou lisent du code, ils peuvent rencontrer des instructions malveillantes cachées ou un contexte conçu pour manipuler leur tâche. Grâce à l’entraînement adversaire intégré et aux vérifications de sécurité en temps réel, Argon se classe en tête en termes de robustesse face à l’injection de prompt sur le benchmark Indirect Prompt Injection (IPI) de Gray Swan, réduisant le taux de succès des attaques à 0,7 % lors de 15 tentatives adaptatives.
Les défenses de sécurité et de protection susmentionnées ne représentent que trois catégories de notre épais stack de défense en profondeur. Pour en savoir plus sur notre approche en matière de tests de sécurité et de mitigations, lisez notre rapport complet Gemini 4 Argon Safety and Security Report et consultez le Gemini 4 Argon Model Card.