Google Researchは、 Agile Deliberationを公開した。これは、主観的な概念に基づく画像分類器を構築するためのhuman-in-the-loopフレームワークである。例としては「健康的な食べ物」、「インスピレーションを与えるアートワーク」、コンテンツモデレーションにおけるクリックベイトなどが挙げられる。ほとんどのツールはユーザーがすでに概念の境界を知っていることを前提とする。Agile Deliberationはユーザーがそれを知らないことを前提とし、境界を見つける手助けをする。
TL;DR
- フレームワーク: ファインチューニングなしで、API経由でGemini 2.5 ProおよびGemini 2.5 Flashにプロンプトを送る。
- 動作環境: JupyterまたはColabノートブック。検索にはCLIP埋め込みと、CPUまたはGPU上のFAISSインデックスを使用。デモのインデックスは約260 MBから始まる。
- 性能: 2概念・18ライブセッションにわたり、平均でzero-shotのGemini 2.5 Flashを10.5 F1ポイント上回る。
- 最良: paid to playのF1はzero-shotの0.48に対し0.59、precisionは22ポイント上昇(0.35から0.57)。
- 最悪: paid to playでrecallが17ポイント低下(0.80から0.63)、healthy foodで15ポイント低下。
Agile Deliberationとは何か?
Agile Deliberationは、曖昧な概念を構造化された文書による定義に変換するGoogle Researchのフレームワークである。その定義は2つの役割を果たす。人間が読めるポリシーであると同時に、VLM分類器へのテキストプロンプトでもある。各ラウンドでは、ユーザーのラベル上で最良のF1を得られる候補定義が保持される。
このデザインは、 コンテンツモデレーションの専門家グループへのインタビューから生まれた。専門家はまず概念のスコープを定め、その後ボーダーライン上の画像でそれを洗練させた。それらの画像を見つけることが遅い部分だった。
概念スコーピングはどのように機能するのか?
ステージ1 では、Gemini 2.5 Proを用いたプロンプトチェーニングにより、概念を最大3つの単位概念に分解する。各単位には候補となる正例・負例のサブ概念が割り当てられ、検索された画像とともに表示される。healthy foodの場合、正例にはサラダやグレインボウルが、負例には加工食品や生の未調理の食材が含まれる可能性がある。ユーザーはそれぞれを保持、反転、または削除する。
概念の反復はどのようにボーダーライン上の画像を見つけるのか?
ステージ2 では、古典的な不確実性サンプリングを用いない。分類器はプロンプトで動作する生成的VLMであるため、そのconfidenceスコアはしばしばキャリブレーションされていない。代わりに、システムは意味的にボーダーライン上にある画像を探し出す。
パイプラインは4ステップで実行される:
- Gemini 2.5 Flashが「マヨネーズを多用したドレッシングのサラダ」のようなボーダーラインのクエリを書く。各クエリは50〜100枚の画像を検索する。
- 画像は重複排除され、エンコードされ、辞書学習によりクラスタにグループ化される。
- UCBマルチアームバンディットが次のクラスタを選択する。ユーザーがモデルを修正したり豊富なフィードバックを残したりしたクラスタが優先される。
- VLMが各画像を1文で要約します。ユーザーには、1つの曖昧性を共有する5枚以上の画像が表示されます。
ユーザーは各画像にラベルを付け、不一致に関する短いメモを追加します。LLMがそれらのメモを候補の定義に変換します。貪欲法による更新により、最もスコアの高い定義が保持されます。
どのように評価されたのか?
主観的な概念には固定された正解(グラウンドトゥルース)がないため、Googleチームは静的なベンチマークを省略しました。約90分のライブセッションを合計18回実施しました。プロのモデレーション経験のない参加者9名が、それぞれ2セッションずつ担当しました。1つのセッションではAgile Deliberationを、もう1つでは手動の審議を使用しました。各参加者は約45分かけて概念を定義した後、200枚のヘルドアウトのテスト画像にラベルを付けました。
2つの概念は、『paid to play(報酬を得てプレーする)』クリックベイトと『健康的な食品』でした。検索は、それぞれ独自の100M枚規模の画像データセットとWebLIに対して実行されました。
ベンチマークは何を示しているのか?
| F1(Agile Deliberationグループ) | ゼロショット | Modeling Collaborator | Agile Deliberation | ゼロショットに対する向上 |
|---|---|---|---|---|
| 遊んで稼ぐ | 0.48 | 0.53 | 0.59 | 11ポイント増 |
| 健康食品 | 0.48 | 0.50 | 0.58 | +10ポイント |
出典: CVPR 2026論文の表1。参加者について平均したF1値です。
他の主観的分類手法と比べるとどうですか?
| 特集 | アジャイル審議 | モデリング・コラボレーター | アジャイルモデリング | ゼロショットVLM |
|---|---|---|---|---|
| 会場 | CVPR 2026 | CVPR 2024 | ICCV 2023 | 基準は 論文 |
| 中核的なアイデア | 意味的に境界線上の画像に関する検討、その後の自動プロンプト最適化 | LLMエージェントが概念を分解し、データに自動ラベルを付与する | ユーザーがリアルタイムのループで画像にラベルを付ける | 冒頭の説明から分類する |
| 人的努力 | ラベリングとフィードバックに約45分 | 約100のラベルとチャット(対して約2,000) | 14人の調査で30分未満 | 1 概念説明 |
| 変化する定義への対応 | はい | いいえ（静的） | いいえ (静的) | いいえ |
| 分類器 | Gemini 2.5 Flash へのプロンプト | 軽量な蒸留分類器 | 非公開 | Gemini 2.5 Flash へのプロンプト |
| F1、有償サービスでテスト | 0.59 | 0.53 | 未テスト | 0.48 |
| F1、健康食品 | 0.58 | 0.50 | 未テスト | 0.48 |
| コード | Apache 2.0、GitHub | 非公開 | 非公開 | Gemini API |
開発者はどうやって実行できるのか?
リポジトリには Demo.ipynb が同梱されており、健康食品の例を順を追って説明しています。Gemini API キーが必要で、デフォルトでは gemini-2.5-pro と gemini-2.5-flash を使用します。セットアップスクリプトは、LAION-400M の CLIP 埋め込みに対して FAISS インデックスを構築します。デフォルトの 2 シャードで約 260 MB、全 100 シャードで約 13 GB になります。
重要なポイント
- Agile Deliberation は、主観的な概念にラベルを付けるだけでなく、その境界をユーザーが発見するのに役立ちます。
- 分類器の信頼度ではなく、意味に基づいてボーダーライン上の画像を見つけます。
- F1 は平均して、ゼロショットの Gemini 2.5 Flash から 10.5 ポイント上昇しました。
- ユーザーは、手動のプロンプト編集に比べて、労力とストレスが大幅に低いと報告しました。
- コードは GitHub で公開されており、Gemini ベースのデモノートブックが付属しています。
以下もチェックしてみてください: 論文, arXiv 版, GitHub リポジトリ および Google Research ブログ。また、私たちの Twitter をフォローしていただくのも歓迎です。そして、私たちの 150k以上のML SubReddit そして登録してください 弊社のニュースレター。お待ちください!あなたはTelegramを使っていますか? 現在、Telegramでも参加できるようになりました。
GitHubリポジトリ、Hugging Faceページ、製品リリース、ウェビナーなどのプロモーションで当社とのパートナーシップをご希望ですか? 当社にご連絡ください
この記事 Google AI Research、グレーゾーンの画像分類器向けにAgile Deliberationフレームワークをリリース は、最初に以下に掲載されました MarkTechPost.