Provenance du contenu aide les gens à comprendre d'où vient un contenu, comment il a été créé ou modifié, et s'il contient des signaux associés à nos modèles. Nous avons déjà rendu publics des outils permettant d'identifier les images et l'audio générés par nos modèles. Aujourd'hui, nous partageons notre approche du filigranage de texte en réponse à l'EU AI Act, et la manière dont elle s'inscrit dans notre travail plus large.
L'AI Act de l'UE impose aux fournisseurs d'IA générative de rendre le texte généré identifiable de manière lisible par machine. Le filigrane textuel et la détection restent des technologies balbutiantes présentant des limites importantes, et les avis sur leurs avantages et leurs usages responsables continuent d'évoluer. Notre approche progressive reflète à la fois les exigences de l'AI Act de l'UE et les limites de la technologie, en mettant l'accent sur la transparence quant à ce qu'un filigrane textuel peut et ne peut pas révéler aux gens :
À partir d'aujourd'hui, les clients de l'API dans le monde entier pourront activer le filigrane de texte pour certains modèles. Le filigrane de texte restera désactivé par défaut dans l'API.
Au cours des prochaines semaines, nous ajouterons un filigrane invisible aux sorties textuelles éligibles de ChatGPT et Codex dans l'Union européenne.
Nous ouvrons les candidatures pour accéder à notre détecteur de filigranes textuels. L'accès sera dans un premier temps limité aux chercheurs approuvés et aux organisations expertes capables de nous aider à évaluer et à améliorer la technologie.
Ce qui précède ne s'applique qu'à la provenance des textes — nos outils de vérification pour l'audio et les images, y compris notre openai.com/verify outil web et notre API Content Provenance(s'ouvre dans une nouvelle fenêtre), restera publiquement accessible aux organisations souhaitant déterminer si une image ou un fichier audio a été généré par l'un de nos systèmes.
Fonctionnement et performances de notre système de filigranage
Notre technologie de filigrane textuel, textGrain, ajoute un signal statistique invisible aux choix de mots du modèle. Notre détecteur recherche ce signal afin d'évaluer si un passage contient un filigrane d'OpenAI. Vous trouverez plus de détails sur le fonctionnement de textGrain dans notre rapport technique(s'ouvre dans une nouvelle fenêtre), qui sera mis à jour avec des détails supplémentaires dans les semaines à venir. Nous prévoyons également de rendre la technologie disponible en open source afin que d'autres puissent s'appuyer dessus.
Dans nos évaluations, textGrain a égalé ou dépassé les performances des autres approches que nous avons testées, dont SynthID pour le texte. Cela dit, de bonnes performances dans des conditions idéales ne garantissent pas une détection fiable dans un usage quotidien.
Les détecteurs peuvent commettre deux types d'erreurs : ils peuvent signaler un filigrane alors qu'il n'y en a pas — un faux positif — ou passer à côté d'un filigrane présent — un faux négatif. Nos évaluations ci-dessous illustrent certains des défis :
Les textes plus courts ou plus contraints sont plus difficiles à détecter. À un taux de faux positifs cible de 1 %, notre détecteur a identifié des filigranes dans environ 80 % des passages de 200 tokens, contre environ 95 % des passages de 400 tokens, pour des contenus tels que la psychologie. Les taux de détection étaient nettement plus faibles pour des contenus tels que les mathématiques, où il y a moins de flexibilité dans le choix des mots.
L'édition peut affaiblir le filigrane. Dans une évaluation de passages de 400 tokens, le remplacement de 10 % des mots par des synonymes a réduit la détection d'environ 92 % à 66 %. Le remplacement de 25 % des mots l'a réduite à 17 %.
Ces limitations contribuent à notre décision de n'accorder l'accès initial au détecteur qu'aux chercheurs approuvés et aux organisations expertes, qui peuvent nous aider à évaluer la fiabilité et les usages responsables.
Ce graphique présente les résultats pour des réponses filigranées à des questions de mathématiques et de psychologie issues du ELI5 dataset(opens in a new window) à un taux de faux positifs cible de 1 %. La détection s'améliore avec la longueur du texte, mais est globalement nettement plus faible pour les contenus où il y a moins de flexibilité dans le choix des mots, comme les mathématiques.
L'édition peut affaiblir considérablement le signal du filigrane. Ce graphique montre comment le remplacement de 10 % ou 25 % des mots d'un passage affecte la détection. Les résultats sont basés sur des réponses filigranées en anglais à des questions issues de ELI5(s'ouvre dans une nouvelle fenêtre).
Impact du filigranage sur la qualité des sorties
Sur l'ensemble des benchmarks que nous utilisons pour évaluer Astra, notre tout dernier modèle frontalier, nous n'observons pas de différences de performances significatives avec et sans filigranage.
Benchmark | Texte sans filigrane (Astra, max) | Texte filigrané (Astra, max) |
|---|---|---|
Artificial Analysis Intelligence Index | 49.57 points | 49.76 points |
AutomationBench | 34.09% | 34.86% |
DeepSWE v1.1 | 72.80% | 71.68% |
Terminal-Bench 4.0 | 53.90% | 56.06% |
Terminal-Bench Science 0.1 | 56.90% | 60.00% |
BrowseComp | 87.92% | 87.35% |
HealthBench Professional | 64.27% | 64.60% |
GPQA Diamond | 94.44% | 93.94% |
Ce qu'un filigrane de texte ne vous dit pas
Les filigranes de texte fournissent un signal limité sur le rôle que nos systèmes ont joué dans un passage. Il est important de comprendre ce que l'on peut et ne peut pas conclure à partir d'un résultat de détection.
Un filigrane ne mesure pas la contribution humaine. Il peut indiquer qu'un système d'OpenAI a généré ou traité une partie d'un passage, mais pas la part de jugement, d'édition ou de créativité humaine qui y a été apportée.
Un filigrane n'établit ni la propriété ni la responsabilité. Il ne détermine pas qui possède le texte, si son utilisation était licite, si une divulgation était requise, ou qui en est responsable.
Un filigrane n'identifie pas l'utilisateur. Il n'associe aucune personne, organisation, compte, requête ni conversation au texte.
Un filigrane ne vérifie pas l'exactitude. Il ne vous dit pas si un passage est vrai, trompeur, nuisible ou présenté dans le bon contexte.
L'absence de filigrane détecté ne prouve pas une authorat humaine. Un texte généré avec les outils d'OpenAI peut être trop court, édité ou traduit pour que la détection fonctionne de manière fiable. Il peut aussi provenir d'un modèle non pris en charge, être antérieur au filigranage, ou avoir été généré par les outils d'une autre société.
Nos prochaines étapes
Déploiement du filigranage de texte dans l'UE. Au cours des prochaines semaines, nous introduirons le filigranage de texte pour les utilisateurs éligibles de ChatGPT et de Codex, sur tous les plans, dans l'UE uniquement. Nous ne faisons pas du filigranage de texte une valeur par défaut mondiale au lancement. Cette approche régionale nous donne la possibilité d'apprendre de l'utilisation et des retours en conditions réelles.
Activation du filigranage sur option pour les clients de l'API. À partir d'aujourd'hui, les clients de l'API du monde entier pourront opter pour des sorties de texte filigranées pour certains modèles. Cela permet aux clients de décider comment le filigranage s'inscrit dans leurs obligations de transparence et les expériences qu'ils offrent aux utilisateurs. Nous travaillons également avec des partenaires cloud pour rendre le filigranage disponible pour les sorties des modèles d'OpenAI accessibles via leurs services dans les prochaines semaines.
Fournir l'accès au détecteur aux chercheurs et aux organisations d'experts. Les chercheurs approuvés et les organisations d'experts peuvent faire une demande à partir d'aujourd'hui. Conformément au Code de conduite(s'ouvre dans une nouvelle fenêtre), l'accès sera initialement accordé au cas par cas afin de soutenir l'évaluation et l'amélioration de la provenance des textes. L'outil indiquera s'il détecte un filigrane d'OpenAI, sans identifier l'utilisateur ni révéler ses requêtes ou conversations. Compte tenu du risque de filigranes manqués et de faux positifs, nous ne le rendons pas accessible au public au lancement.
Nous prévoyons de réexaminer chaque volet de cette approche à mesure que la technologie, les normes et les éléments de preuve évoluent.
Notre approche plus large de la provenance des contenus
Aucune technique de provenance seule ne suffit, c'est pourquoi nous adoptons une approche par couches qui combine normes ouvertes, filigranage durable et outils de vérification.
Nous ajoutons des Content Credentials aux sorties d'images prises en charge et sommes conformes à la C2PA(s'ouvre dans une nouvelle fenêtre), incorporer invisible SynthID(s'ouvre dans une nouvelle fenêtre) les filigranes dans les images et l'audio pris en charge, et rendre la vérification des images et de l'audio disponible via openai.com/verify et notre Content Provenance API(s'ouvre dans une nouvelle fenêtre). Ces techniques se complètent mutuellement : les Content Credentials peuvent enregistrer l'origine et l'historique d'un fichier, tandis que les filigranes invisibles peuvent préserver un signal lorsque les métadonnées sont supprimées.
Comme nous l'avons décrit dans notre travail sur les mesures de sauvegarde électorale, la provenance peut aider les personnes et les plateformes à évaluer les contenus générés par l'IA potentiellement trompeurs, y compris les deepfakes. Nous associons ces signaux à des politiques, à la détection des abus, aux signalements, aux enquêtes et à l'application des règles, et nous collaborons avec des chercheurs, des organismes de normalisation, des plateformes et la société civile pour rendre la provenance utile dans l'ensemble de l'écosystème.
Étendre la provenance au texte exige de prendre en compte la facilité avec laquelle il peut être réécrit, traduit ou modifié. Comme nous l'avons évoqué en juin, notre approche doit refléter les limites pratiques de la technologie actuelle. Nous continuerons d'améliorer la détection, d'étudier comment les filigranes résistent à l'édition et à la traduction, et d'explorer des moyens de distinguer de manière plus significative l'assistance par l'IA de la rédaction par l'IA. Nous adapterons notre approche à mesure que les preuves, les normes et les exigences réglementaires évolueront, et nous élargirons l'accès au détecteur lorsque nous estimerons que les résultats peuvent être interprétés de manière responsable.
Pour plus d'informations, veuillez consulter notre article du centre d'aide(s'ouvre dans une nouvelle fenêtre).