IT之家 11月11日の報道によると、毎年開催されるAdobe MAX大会でAdobeが披露する最も印象的な技術の一つは、実験段階にあるまだ正式に発表されていない革新的な機能である。今日、同社は最新の実験プロジェクトを公開した。これらのプロジェクトでは、通常の画像を探索可能な3Dシーンに変換し、AIキャラクターと対話することでキャラクターのイメージを設計し、写真編集を簡単なコピー＆ペースト操作にすることもできる。
まずは非常に特異なProject Screen Testプロジェクトで、ユーザーがAI生成キャラクターをより簡単に作成し、ビデオコンテンツに応用できるようにすることを目的としています。
IT之家が注目したのは、従来の方法と異なり、ユーザーはもはや言葉によるヒントを通じてキャラクターがどのように話し、どのように振る舞うべきかを説明されるだけではなく、直接キャラクターと対話し、俳優の試写環境のような状況で指導を受けることができるという点です。
使用する際には、まずユーザーがキャラクターの基本的な性格特性を説明する必要があります。例えば「不安で、恥ずかしがりやく、不器用」などです。そして、キャラクターの声を設定します。声はプリセットのオプションから選択するか、テキストのフレーズで指定するか、あるいはAIが参考にできる音声サンプルをアップロードすることもできます。
その後、ユーザーはFaceTimeを使って人とビデオ通話するように、AIキャラクターと対話を行い、成長背景、性格、目標、欠点、恐怖、そして独特な動作習慣など、キャラクターの設定をさらに詳細に設定することができる。
キャラクターデザインが完了した後、ユーザーはキャラクターが存在するいかなる環境やシナリオも記述でき、それに応じた動的なオーディションビデオを生成することができます。
現在、Project Screen Testは依然として独立した創作実験であり、将来Adobeの既存のAIビデオツールに統合されるかどうかは明らかではありません。
実際の効果から見ると、魂を欠いた多くのAIアニメキャラクターと比べて、このツールで生成されるキャラクターはより鮮明で一貫した個性を持っています。しかし、これこそがその存在意義です。従来のアニメ制作と比べて、AIビデオ生成が提供できる創作のコントロール権ははるかに少ないのです。従来のアニメでは、キャラクターの各種細部が制作者によって意識的に設計されますが、AIで生成されるキャラクターにはそれが難しいのです。
もう一つのプロジェクトはProject Sight Spanです。これは、通常の写真や画像をユーザーが探索できる3D空間に変換し、画面の構図や視点を調整することができます。
この技術により、元の画像以外の物体や背景を生成し、平面の画像を完全な3D環境に拡張することができます。ユーザーが視点を変えて、撮影者によって隠されていた背後部分を見る場合でも、システムが生成した内容は元の画像と自然に連携します。
しかし、3D環境で閲覧する際には、画面内の物体や背景がピクセル化してしまい、詳細も十分に明瞭ではありません。ただし、ユーザーが最終視点を選択すると、システムは対応する画面の解像度を回復します。
Sight Spanは、写真、絵画、イラストなど様々な平面画像をサポートし、元の作品の芸術スタイルを保ちながら再現することができます。ユーザーが写真の中の人物のタトゥーの位置や顔の特徴を変更しても、これらの詳細は驚くほど識別可能であり、元の参照画像と非常に一致します。
この技術は、アップル社のSpatial Reframing空間再構築機能の強化版に似ています。ユーザーは画面内の要素をより大きな範囲で調整するだけでなく、撮影角度を完全に変更することもできます。しかし、このような大きな調整をした後では、最終的な作品はもはや写真と呼ぶには適していないようです。
Project Sound BenderはAI音声ミキシング機能であり、ユーザーは色輪上でカーソルを動かすように、ビデオ内の効果音を自由に調整することができます。
使用する際には、ユーザーが動画をアップロードし、テキストのフレーズで希望する音声効果を指定するだけです。例えば「気泡を立てるサイエンスフィクションの錬金鍋の音」のようなものです。Sound Benderはその後、自動的に対応する音效を生成し、動画と同期させます。
同時に、ツールは四角形のサウンドコントロールパネルも提供し、ユーザーが効果音をリアルタイムで調整できる。パネルの四隅には、密集したグルル声や気泡の爆発音、岩が沸騰するような轟音、音高が変化する電子音、そしてパチパチと鳴る火花音など、異なる種類のAI生成音が自動的に割り当てられる。
ユーザーはパネル上でカーソルをドラッグすることで、目立ちたい音声の種類を自由に選択でき、また4つの角ごとに異なる効果音を設定することもできます。
Adobeが展示した4つ目のプロジェクトは「Project Rinse Repeat」です。これにより、ユーザーは既に完了した編集操作を複製でき、同じ処理結果を同じ写真の中の他の人物や物体にも自動的に適用することができます。
例えば、ユーザーが写真の中のある人物に対して多くの時間をかけてピーチング処理を行い、しみや肌の欠点を取り除いた後、Rinse Repeatはユーザーが行った具体的な修正内容に基づき、同じ処理を他の人物にも自動的に適用することができます。
この機能は、商業マーケティング用の画像にも利用できます。例えば、ユーザーが製品に陰影効果を追加した場合、他の製品の形状やサイズが異いても、システムが自動的に適切な陰影を適用します。
Rinse RepeatはPhotoshopを基に構築されています。注目すべき点は、他の人物や物体に適用された編集効果も完全に編集可能であることです。このツールは、処理後の画像を単に上書きするのではなく、Photoshopのネイティブ機能を呼び出してこれらの変更を再構築するためです。
注意すべきは、これらの「Sneaks」というプロジェクトは現在、技術プレビュー段階にあり、将来的にはAdobe Creative CloudアプリケーションやFireflyプラットフォームの正式なツールに発展する可能性がありますが、すべてのプロジェクトが最終的にリリースされるとは限りません。
しかし、これらのプロジェクトはほぼすべて、Adobeの生成式AI技術を中心に展開されています。AIツールが今やAdobeの成長戦略の核心となっていることを考えると、少なくとも一部の実験機能が正式にリリースされる可能性はかなり高いです。
これらのAI実験がどれほど新しくて面白いものであっても、注目すべき信号を発している。もしこれらのツールが十分に実用的であれば、将来AIは創造的な専門家が現在使用している一部のツールや素材ライブラリを代替する可能性がある。その人々がこの技術に対してどれほど複雑な態度を持っているかに関わらずである。
これらの実験プロジェクトにはまた一つの顕著な共通点があります。それは、写真編集、動画制作、音声ミキシングなどの複雑な作業プロセスの利用のハードルを下げ、操作をより直感的でインタラクティブにすることを試みている点です。
一部の機能はまるでおもちゃのように見えますが、実際にはユーザーが創造的なプロジェクトで実際の修正を行うのを支援してくれます。
Adobeの経験豊富な研究科学者であるガウタム・ミソールは、The Vergeへのインタビューで次のように述べています。「これらのインタラクション方式をより直感的にすることで、経験豊富なクリエーターがより正確な制御能力を得られるようにした。Sound Benderの音声探索機能やSight Spanのカメラ視点調整機能は、専門家が自分の判断力を活かして、最終的な効果をより直接的に調整し完善する方法を示している。」 創作の意図と実際の制御能力をより密接に結びつける方法は、私たちが現在探求している重要な方向です。