到底什麼是 World Model?
「World model」(世界模型)是當下最熱門的詞彙。李飛飛(Fei-Fei Li)的 World Labs 在脫離幕後狀態後募資 2.3 億美元,隨後又完成了 10 億美元的融資。Yann LeCun 離開 Meta 創立了 AMI Labs,該公司以 35 億美元的估值募資 10.3 億美元,旨在從零開始構建世界模型。Google DeepMind 推出了 Genie 3。OpenAI 將 Sora 定位為「世界模擬器」。NVIDIA 發布了 Cosmos。Dreamer 4 僅憑離線資料就解決了 Minecraft 的鑽石挑戰(Diamond Challenge)。現在,任何有實力的機器人實驗室都有一篇關於世界模型的論文。
問題在於,當你試圖釐清「世界模型」究竟是什麼時,根據詢問對象的不同,你會得到五種截然不同的答案。
本文旨在拆解這個術語。首先,什麼是世界模型?其次,目前的技術路徑有哪些?第三——如果你是機器人開發者,這點至關重要——世界模型在現代機器人技術堆疊中究竟扮演什麼角色?
什麼是 World Model?
首先要理解的最重要一點是:世界模型是一個「問題陳述」,而非一種「模型架構」。
最貼切的類比是 SLAM(同步定位與地圖構建)。SLAM 並非特定的演算法,而是一個問題:給定一串感測器資料,在構建周圍環境地圖的同時,判斷自己身在何處。目前有數十種 SLAM 方法:基於濾波器的方法(如 EKF-SLAM 和 FastSLAM)、基於圖優化後端的方法(如 GTSAM 或 Ceres Solver)。感測器模態也各不相同——攝影機、LiDAR、IMU,或是三者的融合。即使在視覺 SLAM 內部,也有處理原始像素強度的直接法,以及提取關鍵點(如 ORB 或 SIFT)的特徵法。
世界模型也是如此。「構建一個世界模型」是目標,而如何構建則是完全開放的。
LeCun 的定義
最簡潔的正式定義來自 Yann LeCun(來源):
給定:
x(t):一個觀測結果
s(t):對世界狀態的先前估計
a(t):一個動作建議
z(t):一個潛在變數建議
世界模型計算:
h(t) = Enc(x(t)),即表徵(representation)
s(t+1) = Pred(h(t), s(t), z(t), a(t)),即預測
其中:
Enc() 是一個編碼器(可訓練的確定性函數,例如神經網路)
Pred() 是一個隱藏狀態預測器(同樣是可訓練的確定性函數)
z(t) 代表了那些能讓我們精確預測未來結果的未知資訊。它必須從某個分佈中採樣,或在一組集合中變化。它參數化了合理預測的集合(或分佈)。
讓我們用一個例子來落實這個正式定義。
實例說明:自動駕駛汽車
想像一輛停在空曠停車場的自動駕駛汽車,車上只有一個前置攝影機。它有兩個控制項:轉向角和油門。
x(t) — 攝影機看到的初始影像。柏油路、地平線,可能還有圍欄。
s(t) — 汽車的內部狀態:位置、速度、航向、當前轉向角。初始狀態為 (0, 0, 0),速度為零。
a(t) — 汽車決定採取的動作。假設我們正在原地甩尾:左轉到底 (-1) 並全油門 (+1)。
z(t) — 不可觀測的因素。輪胎抓地力有多少?一陣強風?路面上看不見的油漬?感測器雜訊?現實世界中任何會影響結果但無法從當前狀態讀取的因素。確定性模型會忽略 z(t),而機率模型會從分佈中採樣,給你一組合理的未來情境,而不是單一預測。
基於這些,世界模型預測 s(t+1) — 汽車的下一個狀態。
重要提示:這不是對下一張影像的預測,而是對底層狀態的預測。即在全油門、轉向到底的情況下,經過短暫時間後汽車的新位置、速度和航向。
解碼器(Decoder)擴充
如果你確實想生成下一張影像,可以增加一個解碼器步驟(由 Kevin Murphy 提出):
x(t+1) = Dec(s(t+1))
這種區別比看起來更重要。LeCun 有意將「預測」與「渲染」分開。世界模型的工作是針對狀態進行推理。將該狀態渲染回像素是一個獨立的、可選的步驟。正如我們將看到的,這種分離正是世界模型各流派之間產生分歧的地方。
目前有哪些技術路徑?
今天,構建現代世界模型主要有三種主流範式。每一種對於「壓縮什麼」、「預測什麼」以及「是否渲染」都有不同的立場。
生成式世界模型(Generative World Models)
這是最受矚目的類別。像 Sora、Veo、Genie 3、GameNGen 以及 World Labs 的 RTFM 等模型,學習在給定過去上下文和動作輸入的情況下,預測影片的下一幀。
在架構上,它們通常是自回歸 Transformer 或影片擴散模型(Diffusion Models),且經常結合使用。你給模型一張起始影像(或文字 Prompt),可選地加上一串動作,它就會逐幀預測世界的演變。
其邏輯很直接:如果模型能準確生成未來,它在某種程度上一定理解這個世界。在 Genie 裡玩遊戲,環境似乎具有一致的物理規律和物體恆存性;駕駛虛擬汽車,道路也會做出反應。
但這些模型也存在眾所周知的失敗模式:
自回歸漂移(Autoregressive drift)——小誤差在長序列預測中會不斷累積
幻覺(Hallucination)——物體在被遮擋時會憑空消失或出現
物理不合理性——水往高處流、剛體變形、光照不一致
記憶缺失——當你轉頭看別處時,世界發生了變化
這如何符合 LeCun 的定義:生成式模型將「狀態」和「觀測」合併為同一個東西——它們直接在觀測(像素)空間中進行預測,跳過了抽象狀態。LeCun 會認為這是一種貧乏的實例化:模型幾乎所有的容量都花在了渲染上,留給推理和控制等關鍵部分的容量就更少了。
潛在世界模型(Latent World Models)
潛在世界模型不是預測像素,而是在壓縮的抽象表徵空間中進行預測。目前有兩個主要的子家族,它們在哲學觀點上存在值得深究的對立。
潛在動力學模型(Latent Dynamics Models)——如 Dreamer / DreamerV3 / Dreamer 4、PlaNet、TD-MPC。這些模型源於基於模型的強化學習(Model-based RL)。循環狀態空間模型(RSSM)學習在給定動作條件下預測未來的潛在狀態。關鍵在於,這些模型通常使用重構損失(reconstruction loss)進行訓練——解碼器強制潛在空間保留足夠的資訊來重構觀測結果——並結合獎勵預測,使潛在空間與任務相關。隨後,策略和價值函數會在這些潛在空間中想像出的軌跡上進行訓練。
JEPA(Joint Embedding Predictive Architecture)——如 I-JEPA、V-JEPA、V-JEPA 2,以及最近 AMI Labs 及其合作者推出的 LeWorldModel (LeWM)。視覺編碼器產生當前狀態的嵌入(embeddings);預測器則預測未來或被遮蔽區域的嵌入。沒有獎勵,沒有像素重構。模型純粹透過表徵空間中的自監督預測進行訓練。
雖然兩者都在潛在空間中運作,但它們在四個方面存在重要差異:
訓練訊號:潛在動力學模型透過重構損失(經由解碼器)和通常的獎勵訊號進行 End to End (端到端) 訓練;潛在狀態由重構像素和預測回報的需求所塑造。JEPA 僅使用單一的「嵌入空間內自監督預測」目標進行訓練——沒有解碼器,也沒有獎勵。
對生成的立場:潛在動力學模型擁抱生成;例如 Dreamer 4 可以從潛在狀態想像出完整的影片序列。JEPA 則完全拒絕將生成作為訓練目標。LeCun 的論點是,世界包含本質上不可預測的細節(樹上的葉子、感測器的雜訊),強迫模型在像素層級預測這些細節,會浪費模型容量在那些根本無法預測的事物上。
任務特定性:潛在動力學模型通常針對特定環境或任務進行訓練,獎勵會塑造潛在空間。JEPA 則以任務無關、無獎勵的方式在影片上進行訓練,隨後透過 MPC 或小型動作條件預測器適應下游控制任務。
控制方式:潛在動力學模型通常在世界模型內部訓練一個明確的 Actor-Critic。基於 JEPA 的控制器通常在測試時執行 MPC:採樣候選動作序列,在嵌入空間中向前模擬,並選擇預測嵌入最接近目標嵌入的那一個。
這如何符合 LeCun 的定義:不出所料,這是與正式定義最契合的路徑。潛在動力學模型擁有強大的 Enc()、透過 RSSM 實現的強大 Pred()、隨機採樣 z(t),以及訓練時使用但在規劃時常被捨棄的 Dec()。JEPA 則是純度最高的契合者——Dec() 從設計上就被移除,LeCun 認為這是一個特性,而非缺陷。
3D 神經世界模型(3D Neural World Models)
第三類別致力於將 3D 幾何作為表徵。NeRF 開創了這一先河——一種隱式神經函數,將 3D 座標映射到顏色和密度,並透過體積射線投射(volumetric ray marching)進行渲染。過去兩年,3D Gaussian Splatting 在很大程度上取代了 NeRF,它將隱式函數替換為數百萬個明確的小型半透明高斯球體,渲染速度大幅提升。
World Labs…