重要点
- Adobe ResearchとUCサン・ディエゴは、画像編集タスクを小さなステップに分け、シャープ化やズームなどの機能に対応する特殊なツールと汎用エディターを組み合わせたAIシステム「EditAgent」を開発しました。
- 標準的な言語モデルは、測定された統計データとクローズアップ画像を用いて、並行して生成された画像のバリエーションを評価する。このデータにより、この作業のために特別に訓練された評価モデルよりも優れた性能を示す。
- EditAgentは以前のAIエージェントよりも正確な結果を生み出しますが、計算能力は約10倍必要です。検証された出力は、より速く編集モデルを訓練するために使用できます。
Adobeの研究者たちは、汎用エディターと専門ツールを組み合わせた画像編集用AIエージェントを開発した。標準的な言語モデルが測定データを利用して結果を比較し、最適なものを選出する。
画像編集用AIエージェントは、複雑な要求をステップに分けて実行し、通常は同じツールで失敗したステップを再試行する。一方、別のモデルが目視で出力を評価する。
Adobe ResearchとUCサンディエゴの研究者たちは、新しい論文によると、Photoshopでのプロのように動作するシステムであるEditAgentを利用してこれを変えることを目指している。このシステムは、各タスクに最適なツールを選択し、硬い数値を用いて結果を元の画像と比較する。
一般向け編集ソフトは多くの作業で失敗する
5人の専門家によって盲評価された600枚の画像編集テストにおいて、汎用エディターFlux-2-Klein-9Bは、42.7％の時で利用可能な結果を生み出すことができなかった。専門的なツールは、特に輪郭の明確化、回転、ズーム処理において、その失敗の約3分の2を解決した。同じエディターを何度も使用して再試行するだけではほとんど助けにならなかった。
研究者たちは、エージェントが一歩一歩結果を改善することでより良い成果を得られるか、または同時に複数のバリエーションを生成することで得られるかをテストしました。反復的な改善により小さな誤差が蓄積されます。なぜなら各ラウンドが既に変更された画像を基にしているからです。専門家たちは、一方を選んだ比較の78.5％で、元のデータから生成された並列のバリエーションを好みました。エージェントは半分の評価回数だけで十分でした。EditAgentはこれら二つの知見に基づいて構築されています。
硬い数字が標準モデルをより優れた審判に変える
EditAgentはリクエストを段階的に計画し、各ステップごとに汎用エディタと対応する専門ツールを比較します。その後、標準的な言語モデルがすべてのバリエーションを一度の処理で比較します。
各バリエーションについて、モデルには編集された領域のクローズアップ画像、変更された領域のマップ、輝度と色に関する測定統計が記載された検証レコードが与えられる。ある例では、写真を穏やかに明るくする必要があった。数値は、汎用エディターが過剰に露出させ、色をより暖色に変えたことを示していた。専門的なツールは仕様内に保持された。
研究者たちは、600-editベンチマークでこの手法をテストした。ジャッジモデルは複数の候補の中から最良の結果を選ばなければならず、専門家が利用可能と評価した画像を選択する頻度も数えられた。比較として、画像編集の人間による評価に基づいて最適化されたEditScoreのようなモデルも実行された。
検証記録がない場合、テストされた7つの言語モデルは最良のファインチューニングモデルに匹敵できなかった。しかし、その記録があると、すべての7つがすべてのファインチューニングモデルを上回った。Qwen3.8-27Bは、EditScore-72Bの74.8％に比べて、81.3％の時点で利用可能な結果を出した。研究者たちにとって、これは審査モデルが見るものが、その訓練方法よりも重要であることを示唆している。
各ラウンドの後で、EditAgentは後続の編集が偶然に以前の編集を破壊していないかもチェックする。論文の例では、「より多くの日光を入れる」という指示により、以前に曇りガラスで覆われていた窓が再び明るくなる。エージェントはその矛盾を発見し、修正する。
EditAgentは、オープンソースのエディタであるQwen-Image-Edit-2511およびFlux-2-Klein-9Bを3つのベンチマークで改善し、他の7つのAIエージェントを上回った。EdiValベンチマークでは、第3回編集ラウンドにおけるQwenバージョンは、商業モデルSeedream 4.0およびGPT-Image-1.5を上回った。しかし、このエージェントは単一のエディタよりも約10倍の計算能力が必要であり、その性能は利用するツールによって異なる。
エージェントは、より速い編集器のためのトレーニングデータを生成する
研究者たちはEditAgentをデータ源としても使用している。このエージェントは検証済みの結果のみを保持するため、約26,000件の訓練例が生成された。そのデータで調整された編集者は、3つのすべてのベンチマークでより優れた性能を示した。一方で、FLUX自身によって直接生成された訓練データは、実際にFLUXの性能を低下させた。このトレードオフにより、時間が経つにつれてエージェントの高い計算コストが価値があるものになる可能性がある。
Adobe Photoshop、Premiere、その他のCreative CloudアプリにAIエージェントを追加しました 6月にパブリックベータを開始。ユーザーは自分が欲しいものを説明し、エージェントが個々のステップを処理する。これらのエージェントが適切なツールを選び、自身の出力をチェックする能力がどれほどかは、Adobeの製品の販売に直接関わる問題である。Black Forest Labsは、論文でテストされた汎用モデルを新モデルに置き換えた。 フラックス3 画像 クライン 56億のパラメータを持ち、Flux 2 Kleinよりも小さいものの、他のすべてのオープンモデルや、Black Forest Labsの内部テストで商用のFlux 2 Proよりも高いスコアを獲得している。
出典：Arxiv