IT之家 – Selon des informations du 11 novembre, lors de la conférence Adobe MAX qui se tient chaque année, l’une des technologies les plus impressionnantes présentées par Adobe sont souvent des fonctionnalités innovantes encore en phase expérimentale et non officiellement déployées. Aujourd’hui, l’entreprise a annoncé une nouvelle série de projets expérimentaux : ils permettent de transformer des images ordinaires en scènes 3D explorables, d’imaginer les personnages en dialoguant avec des personnages IA, et rendent la correction d’images une simple opération de copier-coller.
Tout d’abord, il s’agit d’un projet très particulier, le Project Screen Test, qui vise à permettre aux utilisateurs de créer plus facilement des personnages générés par l’IA, et de les appliquer à des contenus vidéo.
L’IT Home a noté que, contrairement aux méthodes traditionnelles, les utilisateurs ne doivent plus décrire les personnages en utilisant des mots de suggestion textuels concernant leur manière de parler et de se comporter. Ils peuvent plutôt dialoguer directement avec les personnages, et recevoir des instructions dans un environnement similaire à une répétition d’acteurs.
Lors de l’utilisation, l’utilisateur doit d’abord décrire certaines caractéristiques de personnalité de base du personnage, telles que « anxieux, timide, maladroit », et définir la voix du personnage. La voix peut être choisie parmi des options prédéfinies, décrite via des prompts textuels, ou une échantillon audio peut être téléchargé pour que l’IA s’y réfère.
Ensuite, l’utilisateur peut discuter avec le personnage IA, tout comme en faisant une vidéo appel via FaceTime, afin de perfectionner sa personnalité, y compris son contexte de croissance, son caractère, ses objectifs, ses défauts, ses peurs, ainsi que certains comportements particuliers.
Après avoir terminé la conception du personnage, l’utilisateur peut également décrire l’environnement ou la situation dans laquelle le personnage souhaite se trouver, afin de générer un vidéo d’essai dynamique correspondante.
Actuellement, le Project Screen Test reste un expérience créative indépendante, et il n’est pas clair si son avenir sera intégré aux outils vidéo IA existants d’Adobe.
D’un point de vue pratique, par rapport à de nombreux personnages d’animation IA dépourvus d’âme, les personnages créés par cet outil possèdent une personnalité plus marquée et cohérente. Cependant, c’est précisément là que réside leur utilité : par rapport à la production traditionnelle d’animation, la génération de vidéos par l’IA offre beaucoup moins de contrôle créatif. Dans les animations traditionnelles, chaque détail du personnage est conçu de manière intentionnelle par le créateur, ce qui est difficilement possible pour les personnages générés par l’IA.
Un autre projet est le Project Sight Span, qui permet de transformer des photos et des images ordinaires en un espace 3D que les utilisateurs peuvent explorer, afin de réajuster la composition et le point de vue de l’image.
Cette technologie permet de générer des objets et des arrière-plans en dehors de l’image originale, transformant une image plane en un environnement tridimensionnel complet. Même si l’utilisateur tourne son regard pour voir les zones cachées derrière l’objet initial, le contenu généré par le système s’intègre naturellement avec l’image originale.
Cependant, lors de la navigation dans un environnement 3D, les objets et le fond sur l’écran deviennent pixelisés et les détails sont insuffisamment clairs. Mais une fois que l’utilisateur choisit le point de vue final, le système rétablit la résolution de l’image correspondante.
Sight Span prend en charge divers types d’images platistes, y compris des photos, des peintures et des illustrations, tout en conservant et reproduisant le style artistique de l’œuvre originale. Même si l’utilisateur modifie la position des tatuages ou les traits du visage dans la photo, ces détails restent étonnamment reconnaissables et très similaires à l’image de référence originale.
Cette technologie ressemble un peu à une version améliorée de la fonction Spatial Reframing d’Apple : les utilisateurs peuvent non seulement ajuster plus largement les éléments de l’image, mais même changer complètement l’angle de prise de vue. Cependant, après des ajustements aussi importants, le résultat final semble difficilement pouvoir être considéré comme une photographie.
Le projet Sound Bender est une fonction de mixage audio par intelligence artificielle, permettant aux utilisateurs de modifier librement les effets sonores dans la vidéo, comme si ils déplaçaient le curseur sur un cercle de couleur.
Lors de l’utilisation, l’utilisateur n’a besoin que de télécharger un vidéo, puis de décrire le effet sonore souhaité via une phrase texte, par exemple « Le son d’un alambic alchimique science-fiction avec des bulles ». Sound Bender générera ensuite automatiquement l’effet sonore correspondant et le synchronisera avec la vidéo.
En même temps, l’outil propose également une panneau de contrôle audio carré permettant aux utilisateurs d’ajuster en temps réel les effets sonores. Les quatre coins du panneau distribuent automatiquement différents types de sons générés par l’IA : des bruits raffinés et des étincelles, un rugissement semblable à celui de la bouillure d’une roche, des sons électroniques avec des variations de fréquence, ainsi que des étincelles crépitantes.
Les utilisateurs peuvent déplacer le curseur sur la panneau pour choisir librement le type de son qu’ils souhaitent mettre en évidence, et ils peuvent également configurer des effets sonores différents pour chacun des quatre coins.
Le quatrième projet présenté par Adobe est Project Rinse Repeat. Il permet aux utilisateurs de copier les opérations d’édition déjà effectuées et d’appliquer automatiquement le même effet sur d’autres personnes ou objets sur la même photo.
Par exemple, lorsque l’utilisateur consacre beaucoup de temps à lisser la peau d’une personne sur une photo, en enlevant les boutons et les défauts de peau, Rinse Repeat peut automatiquement appliquer un traitement similaire aux autres personnages dans la photo, en fonction des modifications qu’il a déjà effectuées.
Cette fonctionnalité peut également être utilisée pour les images de marketing commercial. Par exemple, l’utilisateur peut ajouter un effet de ombre au produit, et même si la forme et les dimensions des autres produits sont différentes, le système s’adaptera automatiquement aux ombres correspondantes.
Rinse Repeat est construit sur Photoshop. Il est intéressant de noter que les effets d’édition appliqués à d’autres personnages ou objets restent entièrement modifiables, car l’outil utilise les fonctionnalités natives de Photoshop pour recréer ces modifications, plutôt que de simplement superposer l’image traitée.
Il convient de noter que ces projets nommés « Sneaks » sont actuellement uniquement des préviews techniques. Il est possible qu’ils soient développés en outils officiels dans Adobe Creative Cloud ou sur la plateforme Firefly, mais il n’est pas garanti que tous les projets seront finalement mis en place.
Cependant, ces projets se concentrent presque entièrement sur les technologies d’IA génératrice d’Adobe. Compte tenu du fait que les outils d’IA constituent aujourd’hui le cœur de la stratégie de croissance d’Adobe, il est assez probable qu’au moins une partie des fonctionnalités expérimentales soit officiellement mise en œuvre.
Quelle que soit la nouveauté ou l’intérêt de ces expériences d’IA, elles émettent un signal important : si ces outils sont suffisamment utiles, les IA pourraient à l’avenir remplacer certains outils et bibliothèques de matériaux utilisés par les professionnels de la créativité, indépendamment de l’attitude complexe qu’ils ont envers cette technologie.
Ces projets expérimentaux ont également un point commun notable : ils cherchent tous à réduire le niveau de difficulté des processus de travail complexes tels que l’édition d’images, la production de vidéos et le mixage audio, afin que les opérations deviennent plus intuitives et interactives.
Certaines fonctionnalités ressemblent même un peu à des jouets, mais en réalité, elles peuvent aider les utilisateurs à effectuer des modifications pratiques dans leurs projets créatifs.
Gautham Mysore, chercheur en chef senior chez Adobe, a déclaré à The Verge : « Ce sont des méthodes d’interaction qui deviennent plus intuitives, tout en permettant aux créateurs expérimentés une meilleure maîtrise du contrôle. La fonction d’exploration sonore de Sound Bender, ainsi que la fonction de réglage de perspective de caméra de Sight Span, montrent comment les professionnels utilisent leur jugement pour ajuster et améliorer directement le résultat final. » Comment combiner plus étroitement l’intention créative avec la capacité de contrôle réelle, c’est précisément la direction importante que nous explorons actuellement.