【第1回】フィジカルAIの現在地 ―「LLMの延長」なのか、それとも別物なのか

結論：フィジカルAIは「LLMの単純な延長」ではない

「フィジカルAIって、要はLLMがロボットの体を手に入れる話でしょう?」——そう受け取られがちですが、実態は少し違います。

先に結論を言ってしまうと、いまのフィジカルAIの本流は ハイブリッドです。上位の意味理解や計画にはLLM/VLM（大規模言語・視覚言語モデル）を使い、実際の行動生成にはVLA、拡散モデル、flow matching、world model、そして古典制御を組み合わせる。単一の巨大モデルで全部やるのではなく、役割の違うモデルを積み重ねる構成が主流になっています。

この記事では、その現在地を「どんなモデルが、どの系統で動いているか」という視点で整理します。まず全体像から入りましょう。

現在地：中心語は「VLA（Vision-Language-Action）」

いまのフィジカルAIは、ロボットに「見る・言語で理解する・物理的に動く」を統合させる研究領域です。その中心にあるキーワードが VLA（Vision-Language-Action）です。

流れを決定づけたのは、GoogleのRT-2でした。Web規模の視覚言語モデルをロボットの行動に接続し、画像と言語から直接ロボット制御を出す——という方向を示したモデルです（RT-2 プロジェクトページ）。

ただし、LLM/VLMだけでは腕・指・脚の連続制御には遅く、粗い。そこで最近の実装は、上位にVLM/LLM、下位に高速な行動ポリシーを置く二層構成が多くなっています。Figure AIのHelixはまさに、意味理解を担う「System 2」と、高速な連続制御を担う「System 1」を組み合わせたVLAとして説明されています。人間の「じっくり考える」と「反射的に動く」の使い分けに近い発想です。

以下では、この領域を3つの系統に分けて見ていきます。

系統1：LLM/VLMの発展型 ―― VLA

第一の系統は、ChatGPTやGemini的なマルチモーダルモデルに「action（行動）」を足していく流れです。代表例は RT-2、Gemini Robotics、OpenVLA、GR00T、Helixあたりです。

Google DeepMindのGemini Roboticsは、Gemini 2.0を基盤にしたロボット向けVLAで、ロボットが物理世界で理解し、行動し、反応することを狙っています。派生のGemini Robotics-ERは、空間理解・3D検出・把持推論といった embodied reasoning（身体をともなう推論）側を強化したモデルです。

OpenVLAは、7BパラメータのオープンなVLAです（OpenVLA プロジェクトページ）。Llama 2系の言語モデル、DINOv2/SigLIP系の視覚特徴、そして約97万件の実世界ロボットデモを使って学習されています。ここで重要なのは、ロボット制御を「タスクごとの専用モデルをゼロから作る」方向から、「事前学習済みの基盤モデルを微調整する」方向へ寄せた点です。

NVIDIAのGR00T N1もVLAですが、こちらは特にヒューマノイド向けです。論文上は、視覚言語モジュールが環境と言語指示を解釈し、後段の diffusion transformer がリアルタイムの運動を生成する二重構造になっています。つまりGR00Tは「LLM系」でもあり「拡散系」でもある、ハイブリッドの好例です。

系統2：拡散モデル・flow matching による行動生成

第二の系統は、行動そのものの生成に特化した流れです。

ロボットの動作は、言語のような離散トークン列だけでは扱いにくい。把持する、押す、折る、歩く、バランスを取る——こうした動作は連続値で、しかも正解の軌道が複数あります。「コップの掴み方」に唯一の正解はなく、いくつもの成功パターンがある。この多峰性（マルチモーダル性）に、拡散モデルがよく効きます。

Diffusion Policyは、ロボットの視覚運動ポリシーを条件付きの denoising diffusion process として表現し、複数のタスク・ベンチマークで従来手法を上回ったと報告されています（Diffusion Policy プロジェクトページ）。RDT-1Bは二腕操作向けの diffusion foundation model で、1.2Bパラメータ・46データセット・100万以上のエピソードで事前学習し、言語指示と複数視点のRGB画像から次の64アクションを予測します。これはLLMというより、ロボット行動のための Diffusion Transformer です。

Physical Intelligenceのπ0（パイゼロ）はさらに分かりやすいハイブリッドで、事前学習済みVLMの上に flow matching のアーキテクチャを載せ、複雑で器用なタスクをこなす汎用ロボットポリシーを目指しています。

系統3：World Model・シミュレーション・合成データ

第三の系統は、そもそものデータ問題に向き合う流れです。

フィジカルAI最大のボトルネックは、Webテキストのような巨大データが存在しないことです。ロボットの実機データは高価で、収集は遅く、動かせば壊れる危険もある。そこで、世界モデル・物理シミュレーション・合成データ生成が、もう一つの本流になっています。

NVIDIA Cosmosは、フィジカルAI向けの World Foundation Model プラットフォームで、物理世界をシミュレートする基盤モデルと、データ処理・学習・評価のフレームワークを提供します。論文では、フィジカルAIには「ロボット自身のデジタルツイン」と「世界のデジタルツイン」の両方が要る、と位置づけられています。CovariantのRFM-1も、ロボット行動の結果をAI生成動画として予測する「physics world model」を掲げます。動く前に「この掴み方をしたら物体がどう反応するか」を内部で予測しよう、という方向です。

主要モデルの整理

ここまでのモデルを、系統ごとに一枚にまとめておきます。

モデル	主体	系統	要点
RT-2	Google DeepMind	VLA	VLMをロボット行動に接続
Gemini Robotics	Google DeepMind	VLA / embodied reasoning	Gemini 2.0由来、物理世界向け
OpenVLA	Stanford / UC Berkeley 等	open VLA	7B、97万ロボットデモ
π0	Physical Intelligence	VLM + flow matching	汎用ロボットポリシー
GR00T N1	NVIDIA	VLA + diffusion transformer	ヒューマノイド向け
RDT-1B	清華大系	diffusion transformer	二腕操作、1.2B
Octo	Berkeley 等	transformer diffusion policy	80万軌道、Open X-Embodiment
Helix	Figure AI	VLA 二層構造	ヒューマノイド全身制御へ拡張
Cosmos	NVIDIA	world foundation model	合成データ・世界シミュレーション

では「LLMの発展」なのか

半分はそうです。とくにVLAは、LLM/VLMの発展そのものです。言語指示の理解、視覚理解、常識、タスク分解、道具の理解、空間推論——これらはLLM/VLMの能力を移植しています。

しかし、ロボットの本丸はそこではありません。低レベル制御、連続軌道、多峰性、接触、摩擦、失敗からの復帰、実時間制御。これらはLLM単体では不十分です。だから現在の主流は、LLM/VLMを「意味・計画・インターフェース」に使い、拡散/flow/Transformer policy を「身体の運動生成」に使う構成なのです。

産業面でも、2025〜2026年の動きは研究段階から「大規模実装の前夜」へ移りつつあります。FigureはHelixを物流や家庭作業へ展開し、Skild AIは多様なロボットに使える general-purpose な「ロボットの脳」を打ち出しています。日本でもNoetraとAISTによるフィジカルAI向け基盤モデル計画が報じられ、2026年度にも基盤モデルをリリースし、製造業などのデータで毎年改善していく構想とされています。

まとめ

• フィジカルAIの核心は「LLMが身体を得る」ことではなく、「身体を持つ制御系が、LLM/VLMの意味理解を取り込む」ことにある
• 現在地は3系統の組み合わせ：VLA（LLM/VLM発展型）／拡散・flow（行動生成）／World Model（データ問題）
• 有力な勝ち筋は、純粋なLLMでも純粋な拡散モデルでもなく、その複合アーキテクチャ

つまりフィジカルAIは、LLM研究の隣接領域ではあるものの、実態としては ロボティクス・制御・生成モデル・シミュレーション・データフライホイールの融合領域です。

次回（第2回）は、この「身体を持つ知能」をどう設計するのかを、人間の神経系になぞらえて掘り下げます。LLMが大脳なら、小脳や脊髄、自律神経にあたる仕組みは何か——という話です。