IT之家 Bericht vom 11. November: Bei der jährlich stattfindenden Adobe MAX Konferenz zeigt Adobe oft eine der beeindruckendsten Technologien – nämlich innovative Funktionen, die noch in der Experimentierphase sind und noch nicht offiziell veröffentlicht wurden. Heute hat das Unternehmen eine neue Reihe von Experimenten vorgestellt: Diese ermöglichen es, normale Bilder in erkundbare 3D-Szenen zu verwandeln, durch Gespräche mit AI-Charakteren die Charaktere zu gestalten und das Foto-Editieren zu einer einfachen Kopieren und Einfügen zu machen.
Zuerst ist das sehr einzigartige Project Screen Test-Projekt, dessen Ziel es ist, den Benutzer zu erleichtern, AI-generierte Charaktere zu erstellen und diese auf Videoinhalten anzuwenden.
IT Home hat bemerkt, dass sich im Gegensatz zum traditionellen Verfahren die Benutzer nicht mehr nur durch Textanweisungen beschreiben lassen, wie die Charaktere sprechen und sich verhalten sollten, sondern direkt mit den Charakteren sprechen und sie in einer Art Drehprobe-Umgebung anleiten können.
Beim Einsatz muss der Benutzer zunächst einige grundlegende Charaktereigenschaften des Charakters beschreiben, wie zum Beispiel „Angst, schüchtern, unbeholfen“ usw., und einen Klang für den Charakter festlegen. Der Klang kann aus vorgegebenen Optionen ausgewählt werden, durch Text-Befehle beschrieben oder eine Audiosample hochgeladen werden, damit das AI daran Bezug nehmen kann.
Danach kann der Benutzer mit der AI-Charakterfigur wie bei einer Videoansprache über FaceTime interagieren und seine Charakterbeschreibung weiter verfeinern – einschließlich des Wachstumshintergrunds, des Charakters, der Ziele, der Mängel, der Ängste sowie einiger einzigartiger Verhaltensweisen.
Nach der Erstellung des Charaktersdesigns kann der Benutzer außerdem beschreiben, in welcher Umgebung oder Situation sich der Charakter befinden soll, und so ein entsprechendes dynamisches Probevideo erzeugen.
Derzeit ist das Project Screen Test weiterhin ein unabhängiges kreatives Experiment und es ist noch unklar, ob es in Zukunft in die bestehenden AI-Video-Tools von Adobe integriert werden wird.
Von der tatsächlichen Wirkung her haben die von diesem Tool erstellten Charaktere im Vergleich zu vielen leblosen AI-Animationfiguren eine deutlichere und konsequente Persönlichkeit. Doch genau das ist auch der Sinn ihrer Existenz: Im Vergleich zur traditionellen Animation bietet die AI-Video-Erstellung viel weniger Kontrolle über die kreative Arbeit. In traditionellen Animationen wird jedes Detail der Charaktere von den Kreatoren bewusst gestaltet, was es für AI-generierte Charaktere schwer macht.
Ein weiteres Projekt ist das Project Sight Span, das normale Fotos und Bilder in einen 3D-Raum umwandelt, der von den Benutzern erkundet werden kann, wodurch die Komposition und Perspektive des Bildes neu angepasst werden.
Diese Technologie kann Objekte und Hintergründe außerhalb des ursprünglichen Bildes erzeugen und ein flaches Bild in einen vollständigen dreidimensionalen Raum ausbauen. Selbst wenn der Benutzer den Blickwinkel wechselt, um den Bereich hinter dem, was von dem Aufnahmeherrn verdeckt war, zu sehen, passt das von dem System erzeugte Inhalt natürlich zum ursprünglichen Bild.
Aber im 3D-Umfeld wirken die Objekte und der Hintergrund auf dem Bild pixelig und die Details sind nicht klar genug. Doch sobald der Benutzer den endgültigen Blickwinkel auswählt, erhält das System die entsprechende Auflösung des Bildes zurück.
Sight Span unterstützt verschiedene Flachbilder, einschließlich Fotos, Gemälde und Illustrationen, und kann gleichzeitig den künstlerischen Stil des ursprünglichen Werks bewahren und nachbilden. Selbst wenn der Benutzer die Position der Tattoos oder die Gesichtsmerkmale in den Fotos anpasst, bleiben diese Details erstaunlich gut erkennbar und stimmen hochgradig mit dem ursprünglichen Referenzbild überein.
Diese Technologie ähnelt etwas der erweiterten Version der Spatial Reframing-Funktion von Apple: Der Benutzer kann nicht nur die Elemente auf dem Bild in größerem Maße anpassen, sondern sogar die Aufnahmeweise vollständig ändern. Doch nach solchen starken Anpassungen scheint das Ergebnis eher nicht mehr als ein Foto zu gelten.
Das Projekt Sound Bender ist eine AI-audio-Mischfunktion, mit der die Nutzer die Töne im Video frei anpassen können, als würde sie mit dem Cursor auf dem Farbkreis bewegen.
Beim Einsatz muss der Benutzer nur ein Video hochladen und den gewünschten Sound-Effekt mit einem Text-Befehl beschreiben, z. B. „der Sound eines wissenschaftlichen Alchemisten-Ofens mit Blasen“. Sound Bender erstellt anschließend automatisch den entsprechenden Sound und synchronisiert ihn mit dem Video.
Gleichzeitig bietet das Tool ein quadratisches Sound-Kontrollpanel, mit dem der Benutzer die Effekte in Echtzeit anpassen kann. An den vier Ecken des Panels werden automatisch verschiedene Arten von von AI erzeugten Sounds verteilt – wie dichtes Gurgeln und Blasenknallgeräusche, ein donnerndes Geräusch wie bei brodelndem Felsen, elektronische Töne mit variierendem Tonhöhenverlauf sowie knisternde Elektroentladungen.
Benutzer können den Cursor auf dem Panel verschieben, um frei den gewünschten Tonarttyp auszuwählen, und auch unterschiedliche Soundeffekte für die vier Ecken einstellen.
Das vierte Projekt, das Adobe präsentiert, ist Project Rinse Repeat. Es ermöglicht es den Benutzern, bereits abgeschlossene Bearbeitungsoperationen zu kopieren und den gleichen Effekt automatisch auf andere Personen oder Objekte auf derselben foto aufzubauen.
Zum Beispiel kann nachdem der Benutzer viel Zeit damit verbracht hat, eine Person auf dem Foto mit Puder zu behandeln und Pickel sowie Hautunreinheiten zu entfernen, Rinse Repeat automatisch ähnliche Bearbeitungen auf die anderen Personen im Foto anwenden, basierend auf den konkreten Änderungen, die der Benutzer bereits vorgenommen hat.
Diese Funktion kann auch für kommerzielle Marketingbilder verwendet werden. Zum Beispiel können Nutzer eine Schatteneffekte zum Produkt hinzufügen, und selbst wenn die Form und Größe anderer Produkte unterschiedlich sind, passt das System automatisch den entsprechenden Schatten an.
Rinse Repeat ist auf Photoshop basiert. Es ist bemerkenswert, dass die Bearbeitungsergebnisse, die auf andere Personen oder Objekte angewendet werden, weiterhin vollständig bearbeitbar sind, da das Tool die native Funktionen von Photoshop nutzt, um diese Änderungen neu zu erstellen, anstatt einfach das bearbeitte Bild darüber zu legen.
Es ist zu beachten, dass diese Projekte mit dem Namen „Sneaks“ derzeit nur als technische Vorprägungen existieren. In Zukunft könnten sie zu offiziellen Tools in der Adobe Creative Cloud oder der Firefly-Plattform entwickelt werden. Es wird jedoch nicht garantiert, dass alle Projekte tatsächlich veröffentlicht werden.
Allerdings drehen sich fast alle dieser Projekte um die Generative AI-Technologie von Adobe. Da die AI-Werkzeuge heute zum Kern der Wachstumsstrategie von Adobe gehören, ist die Wahrscheinlichkeit, dass mindestens ein Teil der Experiment Funktionen letztendlich offiziell in Betrieb genommen wird, ziemlich hoch.
Egal wie neuartig oder interessant diese AI-Experimente erscheinen mögen, sie geben ein Signal ab, das Beachtung verdient: Wenn diese Tools ausreichend praktisch sind, könnte die AI in Zukunft einen Teil der Tools und Materialien ersetzen, die kreative Fachleute derzeit verwenden, unabhängig von ihrer komplexen Haltung gegenüber dieser Technologie.
Diese Experimente haben noch eine deutliche Gemeinsamkeit: Sie versuchen alle, die Barrieren für komplexe Arbeitsprozesse wie Fotoeditierung, Videoproduktion und Audio-Mixing zu senken, sodass die Bedienung intuitiver und interaktiver wird.
Einige Funktionen sehen sogar etwas wie Spielzeuge aus, aber sie können den Nutzern tatsächlich dabei helfen, tatsächliche Änderungen in kreativen Projekten durchzuführen.
Gautham Mysore, der leitende Forschungswissenschaftler von Adobe, sagte in einem Interview mit The Verge: „Diese Interaktionsmöglichkeiten sollen intuitiver gestaltet werden, und gleichzeitig soll es erfahrenen Kreatoren eine präzisere Kontrolle geben. Die Audio-Explorationsfunktion von Sound Bender sowie die Sichtweitenanpassung der Kamera von Sight Span zeigen, wie Profis ihren Urteilsvermögen nutzen können, um das Endergebnis direkt zu regulieren und zu verbessern.“ Wie man die kreative Absicht enger mit der tatsächlichen Handlungsfähigkeit verbindet, ist gerade die wichtige Richtung, die wir momentan untersuchen.“