Le chief AI scientist de Tencent avertit que l'IA sera bientôt capable de développer des bioarmes, et que ni les modèles entièrement ouverts ni les modèles entièrement fermés ne peuvent résoudre ce problème à eux seuls.
Dans le débat sur les modèles d'IA ouverts contre fermés, Vinces Yao Shunyu, anciennement chez OpenAI, plaide pour une voie médiane, selon le South China Morning Post. Un mélange d'open source et de closed source permet à chacun d'utiliser la technologie aussi pour la défense. En biologie, cependant, les capacités offensives et défensives sont plus difficiles à séparer qu'en cybersécurité. Comme l'écart entre les modèles chinois et américains n'est pas grand, Yao exhorte l'ensemble de l'industrie à avancer prudemment.
Yao dit qu'Anthropic et d'autres entreprises américaines ont présenté de solides arguments en faveur des modèles fermés, mais il voit aussi des avantages évidents dans les modèles ouverts. Il cite un incident de piratage chez Hugging Face comme exemple : lorsque des modèles américains fermés comme Claude d'Anthropic ont refusé d'analyser des commandes d'attaque à cause de leurs filtres de sécurité, la plateforme a utilisé le modèle chinois ouvert GLM-5.2 pour analyser les journaux à la place.
Ce que le cas Hugging Face montre et ce qu'il ne montre pas
Le rapport de Hugging Face confirme l'exemple de Yao mais en montre aussi les limites. GLM-5.2 n'a été utilisé que lors de l'analyse forensique. La véritable attaque a été stoppée lorsque l'équipe de sécurité a corrigé la vulnérabilité exploitée, reconstruit les serveurs concernés et renouvelé les identifiants. Hugging Face a également souligné que l'incident n'est pas un argument contre les filtres de sécurité sur les modèles hébergés.
En juillet, Anthropic était le seul grand laboratoire d'IA à ne pas avoir signé une lettre soutenue par Nvidia mettant en garde contre des restrictions prématurées sur les modèles ouverts. Le PDG Dario Amodei s'oppose spécifiquement à l'affirmation selon laquelle les modèles ouverts profitent plus aux défenseurs qu'aux attaquants. Il soutient qu'ils sont potentiellement plus risqués parce que les mécanismes de sécurité sont difficiles à faire respecter et que les poids de modèles publiés ne peuvent pas être retirés. Anthropic ne réclame toutefois pas d'interdiction pure et simple des modèles ouverts.
Les modèles ouverts perdent facilement leurs filtres, les modèles fermés filtrent souvent trop agressivement
Une technique appelée Abliteration montre à quel point les filtres de sécurité sont fragiles sur les modèles ouverts. Quiconque a accès aux poids d'un modèle peut l'utiliser pour retirer chirurgicalement les comportements de refus entraînés. Des milliers de ces variantes modifiées se trouvent sur Hugging Face, et la startup américaine Abliteration.ai vend l'accès à une version non filtrée de GLM-5.3. Les recherches actuelles montrent que les contre-mesures existants rendent ces modifications plus difficiles mais ne les empêchent pas. Une approche plus robuste consiste à ne pas inclure les connaissances dangereuses dans le modèle dès l'entraînement.
La Chine reconnaît elle aussi le problème. L'organisme de normalisation TC260 avertit que les mécanismes de sécurité des modèles ouverts peuvent être retirés ou contournés et travaille sur sa propre norme de sécurité pour l'IA open source. A avant-projet de cadre de contrôle des exportations couvre en particulier les grands modèles mais exempté les modèles ouverts déjà publiés. Ni la Chine ni les États-Unis n'ont fixé de seuil contraignant au-delà duquel les modèles ouverts ne peuvent pas être publiés.
Anthropic et OpenAI ne partagent leurs modèles cyber les plus performants qu'avec des partenaires vérifiés, via des programmes comme Project Glasswing et Daybreak. Depuis Claude Fable 5, les filtres de Claude redirigent les requêtes suspectes sur des sujets cyber et biologiques vers le modèle plus faible Opus 4.8. Selon Artificial Analysis, cela a initialement affecté huit à neuf pour cent des tâches, et des utilisateurs ont signalé que même l'analyse d'IRM était signalée comme bioterrorisme. Anthropic a reconnu que les filtres étaient trop agressifs.
Tencent prévoit de sortir son nouveau modèle Hy4 comme modèle à poids ouverts avec un rapport de sécurité accompagnant dans les prochains jours. L'entreprise affirme que les capacités biologiques de Hy4 se situent en dessous du seuil de haut risque. Tencent a supprimé les capacités de piratage du modèle en filtrant les données d'entraînement, et les chercheurs affirment que cette approche survit aussi à l'abliteration.