これは中国のスマートカー企業の中でも、最も大胆な発想による「転身」かもしれない:
この小さなデスクランプは世界的に有名で、『トイ・ストーリー』を手がけたハリウッドVFX企業ピクサーのロゴである。過去30回のアカデミー賞視覚効果部門で、24本の映画がピクサーのVFX技術を使用している。
もちろん、ピクサーはその創業者によっても知られている——スティーブ・ジョブズ。1985年にアップル社を「追い出された」後の彼の起業プロジェクトである。
先日、ピクサーは最新の3Dレンダリングチュートリアルを公開した:
クリエイターにピクサー公式ツールを使って現実世界の3Dガウシアンスプラッティングデータを処理する方法を教えるもので、その説明の中でピクサーは、3DシーンスキャンソリューションKosmoを提供した中国企業に特別に感謝を述べた。
そしてその企業とは、まさにスマートカー業界で避けて通れない名前:禾賽科技(Hesai)——車載LiDAR(ライダー)のトップ企業であり、スマートカーの「シートベルト」普及を強力に推進した企業である。
これはこれこれは、一方では伝統的でハードコアな、轟音を立てる自動車メーカー、もう一方では軽やかでクールで賑やかなハリウッドエンターテインメント業界。禾賽のこの事業展開は、あまりにも大胆すぎるだろうか?
LiDAR企業の禾賽は、どうやってハリウッドに進出したのか?
RenderManはピクサーの中核レンダリング技術で、そのアルゴリズムの歴史はピクサーという企業よりも古い。スティーブ・ジョブズは当時、コンピュータグラフィックスが芸術形式として持つ可能性を見抜き、大きな賭けに出た。
今日に至るまで、GPU加速のXPUアーキテクチャは実用化され、3Dガウシアンスプラッティング(3DGS)という全く新しい3Dデータ形式のサポートもRenderManに追加された。そしてRenderManが現実世界を「捉える」のを助けているのが、禾賽のKosmoである:
ピクサーはKosmoの価値をこう説明している:
映像VFXではピクセルレベルで編集作業を行う必要があり、データや情報が豊富であるほど、できる調整はより繊細になる。そしてKosmoはモデラーがどこにでも足を踏み入れ、その空間のあらゆる要素、正確な幾何構造、そして実際のライティングを捉えることを可能にする。
たとえば、ピクサー本社のSteve Jobsビル前のランプ(Pixar Lamp)とボール(Pixar Ball)は、Kosmoで空間をキャプチャするのにわずか10〜20分しかかからず、得られた高品質な3DGSデータはUSD形式を通じて直接作業環境に入る:
その後、ピクサーのエンジニアは直接出力されたモデル空間の中で、移動、拡大縮小、透明度の調整、絵画風のスタイライズなどを行い、広場全体を筆致が流れるような絵に変えることができる:
現実→3DGS→レンダリング、禾賽が示したデータによると、通常100平方メートルほどの空間では、Kosmoを手持ちで収集するのに約15〜20分かかる:
△操作は非常に簡単で、スキャン済みの空間物体は画面上にメッシュが表示されず、メッシュが表示されている部分はスキャン待ちの領域である
そのため、映像エンターテインメント業界にとって、Kosmoの第一の価値は、実際の風景の環境情報を迅速に抽出し、しかも100%リアルに再現できることである。
一言付け加えると、現象級の国産3A大作『黒神話:悟空』の開発元であるGame Scienceは、当時から禾賽(Hesai)のライダーを使って様々な古建築のモデルを収集していたそしてこれもKosmo誕生の駆動要因の一つである。
高速モデリングはまだ一つの側面にすぎず、Kosmoがより高く評価されているのは、3Dガウシアンスプラッティング形式を直接出力できる能力であり、収集したデータは煩雑な処理を一切経る必要がなく、AI系や手作業系の各種ツールで直接編集・調整できる。
つまり、Kosmoの本質は実はリアルな3次元世界のデータエンジンであり、複数の異なるセンサーが高度に統合され、キャリブレーションも完備されており、手にした瞬間からすぐ使える,モデルの訓練に使え、操作・編集が可能で、空間関係も色彩・形状も歪みのない3次元デジタルモデルを直接出力する。
だからこそ、ハリウッド映画業界への参入は、本質的には禾賽が物理AIのエベレスト登頂に挑む過程で途中に生んだ「卵」にすぎない。。
Kosmoのより「初心」に近い応用シーンは、具身知能(エンボディッドAI)、物理AIの基盤モデルにとって最も重要なデータ経路の入り口としての役割である。。
実空間環境の質感、物体の角、色彩のいずれも、映画級の再現を実現している:
壁に掛けられた絵画さえも劣化なく再現でき、色のブロックや文字、位置関係に全くずれがない:
手持ちデバイスのほか、Kosmoの背後にあるクラウドモデルは3Dセマンティックセグメンテーションを直接実行でき、シーンの中の各要素を分解して取り出せる:
なぜこのようなことをするのか。答えはこうだ:
Kosmoでモデリングされたデータ資産は、そのままロボットの訓練タスクの構築に使うことができる——これは実のところ世界モデルが追求する目標であり、異なる点は、Kosmoのデータは現実世界から来ているため、物理法則や因果関係がより正確で、モデルの挙動についても解釈や帰属づけがより容易だということである。
対象物体や材質・色に加えて、Kosmo自体がさらに重要な要素である空間関係も提供している:
ロボットが知覚から認知へと進み、自ら経路や戦略を計画するうえで、空間関係は不可欠な意思決定要素であり、モデル訓練のデータでもある。
そしてこのような「前装量産」、「前融合」のデータ入口は、これまでの具身知能・物理AI分野の whole トラックには存在しなかったものだ。
具身知能のプレイヤーをはじめ、他に測量・収集のニーズを持つチームも、実は強い需要があり、しかも必要としているのはレーザーレーダーのデータだけでは決してない。
ただ長い間、皆のやり方は、それぞれ異なるセンサー部品を調達し、自前でデータ収集装置を手作りするというものだった——非標準、信頼性が低く、高価で、イテレーションもできない。
しかしこれらのすべての痛点は、レーザーレーダーの「一番手」である禾賽(Hesai)にとっての快適領域だ:精密光電デバイス、車載規格、エンジニアリング量産。
だからKosmoにはもちろんレーザーレーダーが統合されているが、それは禾賽の車載レーザーレーダー事業の延長線ではなく、より多くのレーザーレーダーを売るための技の誇示でもない(レーザーレーダーの「一番手」は年間数百万台を出荷しており、すでに広く認知されている)。むしろそれは具身知能・物理AI分野で全員を悩ませてきた「車輪の再発明」問題を解決することであり、
業界初の「電源を入れればすぐスキャン、スキャンすればすぐ使える」専用データ端末である。。
禾賽のKosmoは何が違うのか?
Kosmoの構成は両端に分かれており、ユーザーの手にあるKosmo Oneは収集側、クラウド上のKosmo Worldは再構築側だ。
Kosmo Oneの内部には4種類のセンサーがある:カスタムレーザーレーダー、最高8K解像度の超高精細イメージングシステム、1インチ大型センサーのCMOS、高精度IMU。
この4種類のセンサーが出力する信号は、生まれつき異なる:点群は疎な三次元座標の集合、画像は二次元ピクセル配列、IMUは高頻度の時系列データなどである。
前融合とは、これらの信号がいかなる再構築アルゴリズムに入る前に、まずハードウェアレベルでそれらを整列させることを意味する。
2つの次元に分けて説明する——時間面では、Kosmoはマイクロ秒レベルの同期収集を実現しており、4種類のセンサーが同じクロックソースとトリガー機構を共有し、すべてのフレームのデータがタイムスタンプ上で厳密に紐付けられている。
空間面では、レーザーレーダーとカメラの間の外部パラメータ較正が、点群内の各三次元点を対応する画像のピクセルに正確に投影できるかどうかを決める。
Kosmo Oneは3者を同一デバイスに統合し、外部パラメータは出荷時に較正され、使用中はIMUが補助して維持する。レーザーレーダーが測定した深度は画像ピクセルと点ごとに直接対応でき、ソフトウェア側で特徴マッチングに頼ってセンサー間の相対位置を推測する必要はない。
前融合の出力は、時空間的に整列されたマルチモーダルデータフレームのセットだ。
各フレームには、レーザーレーダーの点群、画像のRGBピクセル、IMUの姿勢軌跡が同じタイムスタンプの下に紐付けられ、その瞬間におけるデバイスの空間に対する一回の完全な観測を共に記述している。
デバイスレベルの前融合は、実は禾賽がピカソ(Pikaso)SPAD-SoCで行ったピクセルレベルの前融合と同源であり、つまりSPADピクセルの上方にRGBカラーフィルターを集積し、単一ピクセルで光子計数とToF計時を同時に完了し、時空間的に整列されたカラーポイントクラウドを直接出力するものである。
Kosmo Oneはこのような発想をチップからマルチセンサーシステムへと拡張したものだ。
その後、マルチモーダルフレームはクラウドにアップロードされ、Kosmo Spatial Core(略称KSC)に入り、3D Gaussian Splatting表現に変換される。
3DGSは2023年のSIGGRAPHで提案された三次元シーン表現手法である。これは一連の三次元ガウス分布でシーンを構築し、各ガウスはそれぞれ固有の位置、形状、透明度、視点によって変化する色を持つ。
訓練時には、カメラ較正から得られる疎な点群を出発点とし、レンダリング画像と実画像との差異によってこれらのガウスを調整し、最終的にリアルタイムでフォトリアルな画面をレンダリングできる三次元点の集合を得る。
しかし元の3DGSには弱点がある:画像のみに依存しており、単眼画像ではシーンの実際のスケールを確定できず、白壁やガラスのようなテクスチャに乏しい場所は算出が狂いやすく、ガウスの空間分布にも物理的制約が欠けている。
学界は過去2年間、この問題の解決に集中しており、その方向性はレーザーレーダーの絶対深度を3DGSの初期化と最適化に組み込むことだ。
これをKosmoに対応させると、フロー全体は次のようになる:
Kosmo Oneがマイクロ秒レベルの同期収集を行い、ISPがマルチビューの色・彩度一致性処理を行い、データはKSCにアップロードされる。
KSCはさらにレーザーレーダーの点群でガウスの位置を初期化し、深度を幾何学的制約として最適化に参加させ、RGB情報は微分可能なラスタライズによる光度損失を通じてガウスの色パラメータに注入される。
3つの信号が同一の最適化フレームワーク内で協調し、最終的に位置・形状・色が同時に収束した3DGS表現を出力する。
同時に、KSCはこれを基礎としてmeshとdepthの2種類の同源データも同期してエクスポートし、空間座標系は統一されており、フォーマット間のレジストレーションは不要だ。
最終的に、1回の再構築で3DGS、mesh、depthの3種類の、ロボット訓練に直接使用できるデータ形態が同期して出力される。
さらにKSCはAIGC補完機能を搭載しており、未スキャンの盲域に対して自動補完とマテリアル認識を行い、AIセマンティックセグメンテーションによってシーン内の物体を独立に識別・アノテーションし、静的な三次元モデルをAIが訓練可能な構造化データに直接変換できるようにする。
トップクラスのスマート自動車プレイヤーは、スマート自動車にとどまっているはずがない。
Kosmoの特性は、実際のところスマートカーのみならず、具知能(エンボディッドAI)の応用シナリオをもはるかに超えている。
映像、ゲーム、測量、ロボット、さらには不動産も、Kosmoの能力を必要としている――VR内見だ。。
△ ピクサーのクリエイティブ責任者Dylanと禾賽(Hesai)CEOの李一帆
一言でいうと:もしデータが「石油」なら、Kosmoは実に採油+製油のインフラ全プロセスを統合したもので、各「車のオーナー」(AIモデル、アプリケーション層、データ需要者)が給油してすぐ走り出し、開封後すぐ使えるようにするものだ。
これが応用の広さであり、「深さ」の面では、禾賽はKosmoにより深い思考を注ぎ込んでいる。
自動運転からボディ型AI(具身智能)に至るまで、データのシミュレーションと実採取をめぐる対立の議論は絶えなかったが、今年、世界モデルの概念が流行して以降、この「顕学」は終焉を迎えようとしているように感じられる:
世界モデルがあるのに、なぜ大変な労力をかけて現実のデータ収集を行う必要があるのか?
この論理で見ると、Kosmoは「AIの波に逆行」しているように見える。
しかし、GPT-6 AstraとKosmoが復元したシーンデータの対比は、すでに問題を物語っている:
少なくとも現段階の「世界モデル」では、こうした問いに答えることはできない:
AIが強くなるほど、世界モデル/ロボットが推論でき、解決できる問題が増える、つまり物理AI端末が解放するシーンが増えるが、同時に汎化への要求も高まる。
それならなおさら、現実世界の新鮮なデータを基礎として必要になるのではないか?
Kosmoのような空間データ収集製品は、長期にわたって存在し続ける可能性がある。
つまり、KosmoはAIが強くなった後に代替されるのではなく、AIが強くなるほど有用になる――「AI順応(顺AI)」である。
疑問に立ち返ると、Kosmo自体が世界モデルのkick startである;
そして世界モデルの本質をめぐる論争――AIは本当に「世界を推測」しているのか、それとも現実に世界を理解しているのか?学界と産業界は論争が絶えないだが禾賽はKosmoを通じて、より根源的でありながら、従来の大手モデルプレイヤーが避け続けて無視してきた問題を明らかにした:
モデル、特に訓練段階においてデータソースがもし現実の物理世界と整合していれば多くの問題は一気に解決するのではないか?多くの論争は不要になるのではないか?
少なくとも、モデルの能力の源泉と解釈・帰属の連鎖を明確にしてからでなければ、世界モデルの本質問題を議論しても「鏡花水月」と言わざるを得ない。
車業界から出てきたこのレーザーレーダーサプライヤー、禾賽は、確かに十分に再評価されるべきだ。
まず、スマートカー分野で鍛え上げられた精密機器製造、チップ設計、エンジニアリング量産などの能力が、物理AI時代の能力の基盤となっている――Kosmoのほか、自社開発のロボット駆動モジュールもある。小型・高出力・信頼性:
禾賽の役割も、単に車メーカーにサービスを提供するレーザーレーダーサプライヤーから、物理AIインフラサプライヤーへと変わった。たとえばKosmoの主な売上は、ハードウェアの販売ではなく、Kosmoの脳がデータ資産を生産する際に消費するtokenの販売である可能性がある。
次に、禾賽の創業チームには、今や禾賽という一つの「インフラ」企業だけでなく、ロボットフルスタック企業のSharpaもある:
Sharpaは実際の実装現場から問題を発見し、需要をフィードバックし、禾賽は絶えず反復・改良を行い、より良いソリューションをボディ型AI業界全体に提供する。もちろんSharpaからの直接収益も得ている――自らの小さなループが、業界の大きなループを推し進めている。
最後に、禾賽はすでに純粋なハードウェア企業の枠をはるかに超えている。
Kosmo自体がハードウェアとモデルの総合ソリューションだが、そのモデルの背後にはあまり注目されていないものがある:データ資産プラットフォームだ。ユーザーがスキャンしたデータや、禾賀公式自身のテストデータなどが、この上でオープンソースとして公開できる:
CEOの李一帆はうっかり「野心」を露呈した:禾賽はKosmoを意図的に「Apple風」に作り上げた――最高峰のハードウェアの研究開発・設計・製造が、全産業をカバーするプラットフォームエコシステムを支えるという構図だ。
物理AIが前へ進むほど、現実世界の新鮮なデータへの需要はますます大きくなるだけだ。
禾賽(Hesai)は自動車業界から飛び出し、すでに物理AIデータの入口の座に立っている。
次に同社が証明すべきは、センサーからデータ資産に至るこの道筋が、どれほど幅広く、どれほど深いビジネス領域を切り開けるかという点だ。
確かなのは、トップクラスのスマートカー企業の行き着く先が、スマートカーにとどまらないということだ。