文章重點
- NVIDIA聯合研究團隊發布DreamDojo，從44,000小時人類第一人稱視頻中訓練機器人世界模型
- 機器人可通過「觀看」人類動作影片學習物理互動——無需手動編程或遙操作
- DreamDojo解決了機器人訓練中最大的瓶頸：高品質動作數據的獲取成本
- 技術結合Ego4D視頻數據集和NVIDIA Omniverse模擬環境
- 為人形機器人的「大規模量產」掃清了訓練數據層面的關鍵障礙
機器人訓練的瓶頸
訓練一個機器人執行日常任務面臨一個根本問題：數據從哪裡來？不同於語言模型可以從互聯網上的海量文本中學習，機器人需要的是物理互動數據——如何拿起杯子、如何開門、如何折疊衣服。
傳統方法依賴人類操作員通過遙操作（teleoperation）來「示範」動作，然後由機器人模仿學習。這個過程極其緩慢和昂貴：每個動作可能需要數百次示範才能讓機器人學會。
DreamDojo的創新
NVIDIA聯合多所大學的研究團隊提出了一個全新方案：為什麼不直接讓機器人「看」人類怎麼做？
44,000
訓練視頻小時數
第一人稱
視頻拍攝視角
即時
物理規劃能力
100x
數據獲取效率提升
DreamDojo利用了Meta的Ego4D數據集——這是一個包含44,000小時人類第一人稱活動視頻的龐大資源。這些視頻記錄了真實人類在日常生活中的各種物理互動：烹飪、清潔、修理、組裝等。
通過分析這些視頻，DreamDojo的世界模型學會了理解：物體如何在三維空間中移動、人手如何與不同材質的物體互動、以及不同動作序列如何組合完成複雜任務。
技術架構
- 視頻理解層：從第一人稱視頻中提取物體、手部動作和環境的三維表示
- 物理推理層：學習物體的物理屬性（重量、摩擦力、彈性等）和互動規律
- 動作映射層：將人類手部動作轉換為機器人末端執行器的控制指令
- Omniverse模擬：在NVIDIA的Omniverse環境中進行大規模虛擬驗證
量產的前提
DreamDojo的意義遠超學術研究。目前，人形機器人量產面臨的最大非硬體障礙就是訓練數據的獲取成本。如果每個新任務都需要數百小時的人工示範，大規模部署將永遠不經濟。
Tesla Optimus的啟示
Tesla的Optimus人形機器人也採用了類似的「觀察學習」方法。Elon Musk透露Optimus V3的訓練數據部分來自Tesla工廠中人類工人的動作錄像。DreamDojo提供了一個更系統化、更通用的框架來實現這一願景。
與其他Physical AI技術的協同
DreamDojo與NVIDIA生態系統中的其他Physical AI技術形成了強大的協同效應：Alpamayo平台提供自動駕駛的AI基礎；Omniverse提供數位孿生模擬環境；Rubin GPU提供訓練和推理算力；DreamDojo則提供核心的動作學習能力。這些組件共同構成了一個完整的物理AI開發堆疊。