著者丨齊鋮湧
編集丨岑 峰
最近、エンボディッド業界では「ボディなしでポストトレーニングを行う可能性」についての議論が非常に盛んだ。国内外のいずれにおいても、まだ実現可能なソリューションを出したチームは存在しない。端的に言えば、大規模モデルであれエンボディッド・ロボットであれ、本当に使いやすいものにするには、事前学習で基礎を固めるだけでは不十分であり、最終的な実用化はすべて「ポストトレーニング」による調整にかかっている。启元ロボティクスのチーフサイエンティストである董豪はAI科技評論にこう語る。「事前学習は下限を引き上げるものだが、上限はポストトレーニング次第だ」。現在、エンボディッド企業は工場勤務や家庭の清掃などの実社会への展開を目指しており、競っているのは成功率、つまりポストトレーニングの実力そのものだ。しかしポストトレーニングの難しさは、現実の物理世界と向き合わなければならない点にあり、従来は純粋な実機データを使うしかなかった。だが実機でのトレーニングはコストが高すぎる。大規模に展開するには、膨大な数のロボット本体のハードウェア摩耗、場所、人件費がすべて桁違いに高くつく。そのため、業界では事前学習が「ボディレス」デバイスによるデータ収集へ移行し始めているが、量は確保できても、従来のポストトレーニングで最も重要な「誤り修正」の工程には対応できていない。この業界の難題を解決するため、北京大学と启元ロボティクスの董豪チームがHIL-UMIを発表した。この研究は、エンボディッド・ポストトレーニング段階においてボディなしを前提としながら、最も重要な「誤り修正」の工程をめぐって展開されるものだ。論文のURL：https://arxiv.org/pdf/2609.20659 プロジェクトページ：https://hil-umi.github.io
01
エンボディッド・ポストトレーニングのコストは、
なぜ大規模モデルのRLHFをはるかに上回るのか？
大規模モデルと比べて、エンボディッド業界のポストトレーニングはあまりに高額であり、これが多くのエンボディッド・モデルがScalingに挑戦できない大きな理由となっている。大規模言語モデルがこれほど使いやすくなった理由は、誰もが知っている通り：事前学習のデータ量が多いだけでなく、より重要なのはその後のRLHF（人間のフィードバックによる強化学習。データアノテーションと簡単に理解できる）やDPOといった「ポストトレーニング」の貢献だ。しかしエンボディッド・ロボットのポストトレーニングのコストは、大規模モデルのRLHFの百倍以上に達する。大規模モデルのRLHFは、要するにもっと多くの人にコンピュータの前でクリックや選択をしてもらえばよい。しかしエンボディッド・ロボットとなると、本物の物理世界と本気で向き合わなければならない。従来から最もよく使われているDAgger、すなわち人間やアルゴリズムを専門家としてポストトレーニングを評価させる方式を例に挙げると、このプロセスは有効ではあるが、金も時間もかかる。より一般的なのは、従来型の実機ヒューマン・イン・ザ・ループ（HG-DAgger：Human-Gated DAgger）で、ロボットアームが動作中、人間のオペレーターがそばで緊張しながら注視しており、掴み損ねや衝突の寸前で緊急に介入し、正しい軌跡を記録する。これが、人間がトレーニングループ全体の品質管理を行う方式だ。最も面倒なのは、毎回の修正後に、乱された現場を人手で元に戻さなければならないことだ。ロボットの実行、人による介入、環境のリセットと続けて、座って半日かけても使えるデータは多くない。この時間の大部分は、ロボットの不格好な動作と人手による環境リセットに浪費されている。このような遅くて費用がかさむ方式では、ポストトレーニング用データの大規模収集が最大の難題となり、スケーラビリティが大きく制限される。ここで核心的な問題が生じる：我々は実機から解放され、日常の家事をするように、ついでにモデルに最も必要な「誤り修正」データを収集できないだろうか？02
HIL-UMIの基本的なロジック：
UMI収集に「モデルの脳」を追加
HIL-UMIのアプローチは非常に賢く、一言でまとめればこうだ：「ロボットを使わなくても、ロボットに補習をつけられる」。HIL-UMIとはHuman-In-the-Loop（ヒューマン・イン・ザ・ループ）UMIを指す。従来よく使われていたUMI（ハンドヘルドグリッパー）によるデータ収集とは異なり、HIL-UMIの収集は「盲目的」なものではなく、モデルが組み込まれている。HIL-UMIはモデルをハンドヘルド収集プロセスに直接接続した。現実世界では人間だけが動いている： オペレーターはUMIグリッパーを手に普段通り作業をし（おもちゃを掴む、タオルを畳むなど）、カメラが画面を同期撮影する。モデルがバックグラウンドで「補完」する： モデルは同じ映像とタスク指示を受け取り、バックグラウンドで「もし自分がやるなら、次の20ステップの動作はどうするか」を素早く予測するが、実際にアームを制御することはない。不一致を検知すると直ちにプロンプトを発する： システムはバックグラウンドで、人間の実際の動作とモデルの予測動作をリアルタイムに比較する。両者がほぼ一致していれば、モデルはすでに習得済みなので再録画は不要だ。モデルの「補完」軌跡が人間の実際の操作から大きく外れた場合（このシーンではモデルが「初心者」であることを示す）、システムは直ちにオペレーターに通知する：「この部分はモデルができないので、ここからさらに教えて！」ハンドヘルドグリッパーと収集デバイスの全プロセスにおいて、アームを用意する必要はなく、ましてやロボットに実際に失敗させる必要もない。人間がデモンストレーションを行うと同時に、モデルが実際の展開でつまずく可能性が高いシーンをピンポイントで捕捉できるのだ。03
収集ツールの数ではない、
ポストトレーニングにおけるデータフライホイールだ
HIL-UMIを単なるハンドヘルドレコーダーと理解するならば、それは過小評価だ。その真の凄さは、モデルが自ら「間違いノート」を吐き出す自己完結型のループシステムを構築した点にある。このループには2つの技術的支柱がある：第一ステップ：動作不一致検知（盲点を炙り出す）。 ロボット操作では、同じ状況に対して複数の合理的な姿勢が存在することが多い。HIL-UMIは単一の予測を見るのではなく、複数の動作ブロックを並列サンプリングして「エネルギー分布」（Energy Score）を計算する。モデルに自信があれば、動作分布は収束する。モデルが出す動作が散らばり、かつ人間から大きく逸脱していれば、システムはモデルが「分布外状態（OOD）」に入ったと判定し、断固として追加録画を開始する。第二ステップ：アドバンテージ推定器（有効な動作と無意味な揺れを区別する）。 動くことを学ぶだけでは十分でなく、その動作がタスクの進行に役立つかどうかも分からなければならない。ブロックを積むタスクでは、ブロックを持ったまま空中でためらって揺れることと、土台に正確に狙いを定めて置くことは、まったくの別物だ。HIL-UMIは、前後の映像に基づいて「タスクの進行度」を評価する推定器を導入し、「アドバンテージ条件」による訓練を採用した――モデルにこの修正部分を学ばせるだけでなく、タスクの進捗を実質的に前進させる動作だけを選んで学習させるのだ。真のループは「動的更新」にある： 一回ごとのデータの重点的補充が完了すると、モデルがイテレーションを終える。次回の収集ではモデルは賢くなり、以前つまずいていた場所ではアラートが発報しなくなる。逆に、モデルと人間の不一致点はより深く難しいエッジケースへと移行していく。モデルが絶えず新しい盲点を露呈し、人間がそれに的を絞ってデモンストレーションし、モデルがさらに進化する。この一連のパイプラインは雪だるま式に自己イテレーションし、「膨大な正例データを盲目的に浴びせる」ような非効率とは完全に決別する。04
ボディレス・ポストトレーニングのルート比較
HIL-UMIをより客観的に理解するには、現在の業界の主要な複数のルートと比較して位置づける必要がある：実機テレオペレーションと実機DAgger： データの忠実度は最も高いが、単体コストが高く、減価償却が激しく、操作のハードルが高いため、数万台規模に展開するのはほぼ不可能。シミュレーション（Sim2Real）と強化学習： 計算コストが安く大量のデータを生成できるが、柔軟な物体（衣服など）、摩擦力、複雑なライティング条件下では、シミュレーションと現実のギャップ（Sim-to-Real Gap）は今なお大きな壁であり、しかも実機ポストトレーニングとして扱うことはできない。膨大な動画による事前学習： スケールは無限大だが、物理的な力学情報と正確な動作次元が欠けており、モデルに「常識的な知覚」を構築させることに主に使われ、ミリメートル級の精密制御に直接変換することはできず、事前学習に用いられるのが一般的。従来のUMI（ボディレス正例収集）： 安価で誰でも収集できるが、正例しか収集できず、モデルのロングテールエラーからの回復問題を解決できず、やはり事前学習としてしか扱えない。HIL-UMIはまさに絶妙なスイートスポットに位置している：UMIの低コストと容易なスケーラビリティを借用し、DAggerの的を絞った誤り修正能力も借用しながら、両者の欠点をすべて捨て去ったのだ。05
効率が5.63倍向上、
ポストトレーニングがついにアームを中心に回らなくなる
エンジニアリング上の計算が成り立つかどうかは、2つの比較を見れば明らかだ：重点補習 vs 盲目的多学習： 実機ロボットアーム上での4つのタスク（タオルを畳む、テーブルを整理する、ブロックを積む、押印する）のテストでは、同一のデータフレーム数予算を与え、通常のデモンストレーションを増やし続ける通常のSFTファインチューニングでは、タスク平均進捗スコア（TPS）は44.3から58.0へとノロノロとしか上がらなかった。一方、HIL-UMIの的を絞った誤り修正メカニズムを使うと、平均スコアは直接94.8まで跳ね上がった。精度が最も試されるブロック積みと押印タスクでは、成功率は100点に達した。収集効率がそのまま5.63倍に： 横軸が初期モデルのBaseから3回の更新Iter1—Iter3、縦軸がタスク進捗スコアであることが分かる。紫はSFT、オレンジはアドバンテージ機構を除去したHIL-UMI、緑は完全版HIL-UMIで、最も右は4タスクの平均スコア。 極めて複雑な「テーブル整理」という長時間タスクでは、実機HG-DAggerで有効データ1フレームを収集するには412.99ミリ秒かかるのに対し、HIL-UMIではわずか73.40ミリ秒で済み、単位時間あたりの収集効率は文字通り5.63倍に向上した。手で直接収集する方が、ロボットを遠隔操作して収集するよりはるかに楽なのは当然だ。（雷峰網）左図は4タスク平均スコアの累積収集時間に伴う変化、右図はテーブル整理タスクにおける各手法の訓練段階ごとの性能。節約されたこの5倍以上の時間は、すべて以前のアームののろのろした移動、オペレーターの待ち時間、そして人手による現場復元という「無効な損失」だった。我々の見るところ、より重要なビジネス上の想像力は次の点にある：実機テレオペレーションは作業者の技術への要求が極めて高く、少し震えただけで低品質データになる。一方、ハンドヘルドグリッパーは「人間が生まれつき使え、軌跡の品質が極めて高い」。これはポストトレーニングが初めて「分散型」の可能性を手にしたことを意味する。将来は、全国各地の一般住宅で、アルバイトのスタッフが数百元の簡易デバイスを持って日常の動作を行い、バックグラウンドで同一のクラウド大規模モデルに接続され、モデルが誰のところで動作の不一致を検知したら、その短い高品質差分データを静かに取得して送り返すという形になるかもしれない。エンボディッド・ポストトレーニングは、ついに全員を研究室に集めてアームで行う必要がなくなったのだ。06
「今後のポストトレーニングの発展は、
スピードと効率の勝負だ」
インタビューの中で、启元ロボティクスのチーフサイエンティストである董豪は、非常に常識に反する判断を示した：彼の見るところ、これはまさに当時のDeepMindがAlphaGoを作ったときと同じで、最初は棋譜を使った模倣学習（事前学習）を行ったが、真にそれを神格化させたのは、その後の自己対局による大規模強化学習のポストトレーニング段階だった。現在のロボット大規模モデルも同様である。事前学習は出発点となる世界観の構築を担い、道筋は比較的明確だが、将来本当に汎化と極限の成功率へ到達できるのは誰かという勝負どころは、すべて「スケーラブルなポストトレーニング」にかかっている。ここ2年のエンボディッドAI（具知能）は、誰が先に大規模モデルでロボットを「点灯」させるかを競ってきたと言えるが、後半戦の競争は、誰が最低の限界費用で最速のエラー訂正ネットワークを構築できるかを競うことになる。エンボディッドモデルが「デモを動かせる」段階から「千万の家庭に進出する」段階へと跨る重要な転換点において、産業界は一体何を画策しているのか。次世代の基盤モデルとポストトレーニング体系はどのように進化していくのか。近日中に、北京大学副教授であり啓元ロボット首席科学者の董豪氏への独占インタビューもお届けする予定である。エンボディッドAIにおける学術と産業の融合と相互補完について語り合うので、ご期待ください。（雷鋒網（公式アカウント：雷鋒網））「事前学習とポストトレーニングは単純な比例関係ではなく、段階的な入れ替わりである」
乗り遅れるな、世界のAIトップカンファレンスの精華をすべてお届け
独占的にご覧いただける内容：
専門家講演のPPT
大会報告の全文
人気論文の解説
学術新星へのインタビュー
上のQRコードをスキャン
または「原文を読む」をクリックして専用ページをフォローしてください。
雷鋒網のオリジナル記事です。許可なく転載することを禁じます。詳細は転載に関する注意事項。