Adobe teste la capacité des agents IA à utiliser les outils de révision comme un professionnel de Photoshop

Points clés

• Adobe Research et UC San Diego ont développé EditAgent, un système d’IA qui divise les tâches d’édition d’images en sous-tâches et associe un éditeur polyvalent à des outils spécialisés pour des actions telles que l’affiner ou le zoomer.
• Un modèle de langage standard évalue les variantes d’images produites en parallèle, en utilisant des statistiques mesurées et des extraits d’image en gros plan. Avec ces données, il dépasse les modèles d’évaluation spécifiquement entraînés pour cette tâche.
• EditAgent produit des résultats plus précis que les agents IA précédents, mais nécessite environ dix fois plus de calcul. La sortie vérifiée peut ensuite être utilisée pour entraîner des modèles d’édition plus rapides.

Les chercheurs d’Adobe ont développé un agent IA pour l’édition d’images qui combine un éditeur polyvalent avec des outils spécialisés. Un modèle de langage standard compare les résultats en utilisant des données mesurées, afin de choisir le meilleur.

Les agents d’IA pour l’édition d’images divisent les demandes complexes en étapes et répètent généralement les étapes qui échouent avec les mêmes outils, tandis qu’un modèle distinct juge la sortie en la regardant de face.

Les chercheurs de Adobe Research et de UC San Diego veulent changer cela avec EditAgent, un système qui fonctionne davantage comme un professionnel dans Photoshop, selon un article de recherche. Il choisit le outil approprié pour chaque tâche et compare le résultat avec l’original en utilisant des chiffres précis.

Les éditeurs polyvalents échouent sur trop de tâches

Dans une épreuve comprenant 600 modifications d’images, évaluées par cinq professionnels, l’éditeur polyvalent Flux-2-Klein-9B n’a pas produit de résultat utilisable en 42,7 % des cas. Les outils spécialisés ont résolu environ deux tiers de ces échecs, en particulier pour l’affiner, la rotation et le zoom. De plus fortes tentatives avec le même éditeur n’ont guère aidé.

Les chercheurs ont également testé si un agent se montre plus efficace en affinant les résultats étape par étape ou en générant plusieurs variantes en parallèle. L’affinement itératif accumule de petits erreurs, car chaque étape se base sur une image déjà modifiée. Les professionnels ont préféré les variantes parallèles générées à partir de l’original dans 78,5 % des comparaisons où ils ont choisi un camp. L’agent n’a nécessité que la moitié du nombre d’itérations d’évaluation. EditAgent est construit sur ces deux découvertes.

Les chiffres difficiles transforment les modèles standards en meilleurs juges

L’EditAgent planifie une demande en étapes, et pour chaque étape, il compare l’éditeur polyvalent aux outils spécialisés correspondants. Un modèle de langage standard compare ensuite toutes les variantes en une seule passe.

Pour chaque variant, le modèle reçoit un enregistrement de vérification comprenant une vue à chargeure de la zone modifiée, une carte des modifications apportées dans les zones altérées, ainsi que des statistiques mesurées concernant l’intensité et la couleur. Dans un exemple, une photo devait être légèrement éclairée. Les chiffres montraient que l’éditeur généraliste l’avait sur-exposée et avait rendu les couleurs plus chaudes. L’outil spécialisé s’est conformé aux spécifications.

Les chercheurs ont testé cela sur leur benchmark 600-edit. Le modèle de juge devait choisir le meilleur résultat parmi plusieurs candidats, et ils ont compté la fréquence à laquelle il choisissait une image que les professionnels avaient également jugée utilisable. Pour comparaison, ils ont utilisé des modèles comme EditScore qui ont été affinés sur les notes humaines concernant les modifications d’images.

Sans le registre de vérification, aucun des sept modèles linguistiques testés ne pouvait rivaliser avec le meilleur modèle affiné. Avec celui-ci, tous les sept modèles surpassent chaque modèle affiné. Qwen3.8-27B était utilisable 81,3 % du temps, contre 74,8 % pour EditScore-72B. Pour les chercheurs, cela indique que ce que voit un modèle de jugement peut être plus important que la manière dont il a été entraîné.

Après chaque tour, EditAgent vérifie également si les modifications ultérieures annulent accidentellement celles précédentes. Dans l'exemple présenté dans le article, l'instruction « laisser plus de lumière » rend à nouveau claire une fenêtre auparavant recouverte de verre. L’agent détecte le conflit et le corrige.

L’EditAgent a amélioré les éditeurs open-source Qwen-Image-Edit-2511 et Flux-2-Klein-9B en termes de trois benchmarks, surpassant sept autres agents AI. Sur le benchmark EdiVal, la version Qwen, lors de sa troisième étape d’édition, a surpassé les modèles commerciaux Seedream 4.0 et GPT-Image-1.5. Cependant, l’agent nécessite environ dix fois plus de puissance de calcul qu’un seul éditeur, et ses performances dépendent des outils connectés.

L’agent génère des données d’entraînement pour des éditeurs plus rapides

Les chercheurs utilisent également EditAgent comme source de données. Comme l’agent ne conserve que les résultats vérifiés, il a produit environ 26 000 exemples d’entraînement. Les éditeurs qui ont affiné ces données se sont montrés plus efficaces sur les trois critères d’évaluation. En revanche, les données d’entraînement générées directement par FLUX ont en fait rendu FLUX moins performant. Ce compromis pourrait rendre les coûts de calcul élevés de l’agent valables au fil du temps.

Adobe ajouté des agents IA à Photoshop, Premiere et autres applications Creative Cloud En juin, en commençant comme une version bêta publique. Les utilisateurs décrivent ce qu’ils souhaitent, et l’agent gère les étapes individuelles. La capacité de ces agents à choisir les outils appropriés et à vérifier leur propre résultat est une question qui concerne directement les produits livrés par Adobe. Black Forest Labs a depuis remplacé le modèle polyvalent testé dans la revue : le nouveau Flux 3 Image Klein Il possède 5,6 milliards de paramètres, moins que le Flux 2 Klein, mais il obtient une note plus élevée que tous les autres modèles ouverts, et même que le commercial Flux 2 Pro dans les tests internes de Black Forest Labs.