Wichtige Punkte
- Adobe Research und UC San Diego haben EditAgent entwickelt, ein KI-System, das Bildbearbeitungstasking in kleine Schritte aufteilt und einen allgemeinen Editor mit spezialisierten Werkzeugen für Aufhellen oder Zoom verknüpft.
- Ein Standard-Sprachmodell bewertet die parallel generierten Bildvarianten unter Verwendung gemessener Statistiken und Nahaufnahmen. Mit diesen Daten übertrifft es Bewertungsmodelle, die speziell für diese Aufgabe trainiert wurden.
- Der EditAgent liefert genauere Ergebnisse als die vorherigen AI-Agenten, benötigt jedoch etwa zehnmal mehr Rechenleistung. Das verifizierte Ergebnis kann anschließend verwendet werden, um schneller Editiermodellen zu trainieren.
Adobe-Forscher haben einen KI-Agenten für Bildbearbeitung entwickelt, der einen allgemein verwendbaren Editor mit spezialisierten Werkzeugen kombiniert. Ein Standardsprachmodell vergleicht die Ergebnisse anhand von gemessenen Daten und wählt das beste aus.
AI-Agenten für Bildbearbeitung zerlegen komplexe Anfragen in Schritte und wiederholen typischerweise die fehlgeschlagenen Schritte mit denselben Werkzeugen, während ein separater Modell das Ergebnis mit bloßem Auge bewertet.
Forscher von Adobe Research und UC San Diego wollen das mit EditAgent ändern – ein System, das eher wie ein Profi in Photoshop funktioniert, wie in einem neuen Artikel beschrieben. Es wählt für jede Aufgabe das richtige Werkzeug aus und vergleicht das Ergebnis mit dem ursprünglichen Bild anhand konkreter Zahlen.
Allgemeine Editor-Programme scheitern bei zu vielen Aufgaben
Bei einer Testung von 600 Bildbearbeitungen, die von fünf Profis bewertet wurden, schied der allgemeine Editor Flux-2-Klein-9B 42,7 Prozent der Zeit aus, ohne ein nutzbares Ergebnis zu liefern. Spezialisierte Tools konnten etwa zwei Drittel dieser Fehler lösen, insbesondere bei Schärfen, Drehungen und Zoom-Einstellungen. Mehr Wiederholungen mit demselben Editor half kaum.
Die Forscher haben auch getestet, ob ein Agent besser ist, indem er die Ergebnisse Schritt für Schritt verbessert oder indem er mehrere Varianten parallel generiert. Die iterativen Verbesserungen führen zu kleinen Fehlern, da jede Runde auf einer bereits veränderten Darstellung basiert. Die Profis bevorzugten die parallel generierten Varianten aus dem Original in 78,5 Prozent der Vergleiche, in denen sie eine Seite wählten. Der Agent benötigte nur die Hälfte der Anzahl an Bewertungsversuchen. EditAgent ist auf diesen beiden Erkenntnissen basiert.
Hardnummern machen die Standardmodelle zu besseren Urteilern
Der EditAgent plant einen Aufruf in Schritten und stellt für jede Schritt gegen passende spezialisierte Tools. Ein Standardsprachmodell vergleicht anschließend alle Varianten in einer einzigen Durchgang.
Für jede Variante erhält das Modell ein Verifizierungsprotokoll mit einem Nahaufnahme der bearbeiteten Fläche, einer Änderungskarte der veränderten Bereiche sowie gemessenen Statistiken bezüglich Helligkeit und Farbe. In einem Beispiel sollte ein Foto sanft heller gemacht werden. Die Zahlen zeigten, dass das allgemeine Editor-System es überbelichtet hatte und die Farben wärmer machte. Das spezialisierte Tool blieb innerhalb der Spezifikationen.
Die Forscher testeten dies auf ihrem 600-Edit-Benchmark. Das Judge-Modell musste das beste Ergebnis aus mehreren Kandidaten wählen, und sie zählten, wie oft es ein Bild wählte, das auch von den Profis als nutzbar eingestuft wurde. Zur Vergleichswerbung verwendeten sie Modelle wie EditScore, die auf menschlichen Bewertungen von Bild-Editierungen trainiert waren.
Ohne das Verifizierungsprotokoll konnte keines der sieben getesteten Sprachmodelle dem besten angepassten Modell entsprechen. Mit ihm schlugen alle sieben Modelle jedes angepasten Modells. Qwen3.8-27B war 81,3 Prozent der Zeit nutzbar, im Vergleich zu 74,8 Prozent für EditScore-72B. Für die Forscher bedeutet dies, dass das, was ein Richtermodell sieht, wichtiger ist als die Art und Weise, wie es trainiert wurde.
Nach jeder Runde überprüft EditAgent auch, ob spätere Änderungen versehentlich die vorherigen wieder rückgängig machen. Im Beispiel im Artikel führt die Anweisung „mehr Tageslicht hereinlassen“ dazu, dass ein zuvor verwischter Fensterrahmen wieder klar wird. Der Agent erkennt den Konflikt und behebt ihn.
Der EditAgent verbesserte die Open-Source-Editors Qwen-Image-Edit-2511 und Flux-2-Klein-9B auf drei Benchmarks und übertrifft sie dabei sieben anderen AI-Agenten. Auf dem EdiVal-Benchmark übertraf die Qwen-Variante in ihrer dritten Bearbeitungsrunde die kommerziellen Modelle Seedream 4.0 und GPT-Image-1.5. Doch der Agent benötigt etwa zehnmal mehr Rechenleistung als ein einzelner Editor, und seine Leistung hängt von den eingebundenen Tools ab.
Der Agent erzeugt Trainingsdaten für schnellere Editor.
Die Forscher verwenden auch EditAgent als Datenquelle. Da der Agent nur verifizierte Ergebnisse speichert, wurde etwa 26.000 Trainingsbeispiele erstellt. Die Redakteure, die mit diesen Daten angepasst wurden, erzielten bei allen drei Benchmarks bessere Ergebnisse. Die direkt von FLUX generierten Trainingsdaten führten jedoch dazu, dass FLUX schlechter wurde. Dieser Kompromiss könnte im Laufe der Zeit die hohen Rechenkosten des Agents wertvoll machen.
Adobe Hinzufügen von AI-Agenten zu Photoshop, Premiere und anderen Creative-Cloud-Apps Im Juni beginnt es als öffentliche Beta-Version. Nutzer beschreiben, was sie wollen, und der Agent übernimmt die einzelnen Schritte. Wie gut diese Agenten die richtigen Werkzeuge auswählen und ihre eigenen Ergebnisse überprüfen, ist eine Frage, die direkt für Adobes Produkte zutrifft. Black Forest Labs hat seitdem das allgemein verwendbare Modell ersetzt, das in der Studie getestet wurde: das neue Flux 3 Bild Klein Es hat 5,6 Milliarden Parameter – kleiner als der Flux 2 Klein – und erreicht jedoch eine höhere Bewertung als alle anderen offenen Modelle sowie sogar der kommerzielle Flux 2 Pro in den internen Tests von Black Forest Labs.
Quelle: Arxiv