新聞 
這個00後憑什麼拿到高瓴們的1億美元
這個00後憑什麼拿到高瓴們的1億美元這個00後憑什麼拿到高瓴們的1億美元
物理規律的學習其實也是壹樣，它存在壹個“從易到難”的過程。比如仿真引擎、游戲引擎、虛幻引擎裡的數據，雖然場景不同，但背後很多物理規則其實是共通的。無論是《荒野大鏢客》還是《塞爾達》，壹個擊打動作背後，本質上都是人類手寫的簡化物理規則。
這些規則可能只是真實物理世界50%或者70%的映射，但它能夠成為學習真實物理規律的鋪墊。所以我們第壹件事，就是建立壹個從仿真到真實世界的數據躍遷過程。
第贰個關鍵點，是跨領域數據。因為對於通用世界基座模型來說，它本質上是壹個“all for one”的問題。不同場景背後反映的真實物理規律其實是壹致的。
我們內部發現，當引入跨場景數據之後，在某壹個垂類場景裡，數據需求量甚至能夠降低20倍，但效果反而更好。因為模型學到的是更通用的物理規律，而不是某個特定硬件、本體或者場景裡的“偽規律”。如果只依賴單壹場景數據，其實很容易過擬合。
第叁個關鍵點，是長尾物理數據。物理規律很多時候恰恰發生在稀疏和突變場景裡。比如YouTube、B站每天會產生大量視頻，但其中真正包含物理交互的數據比例其實非常低。可能只有5%的視頻包含抓取、拿取等簡單交互，而像玻璃破碎、爆炸這種強物理變化場景，可能只有0.5%。
但恰恰是這些“突變”，最能體現真實物理規律。
所以我們在做預訓練時，會重點篩選那些具有動態交互屬性的視頻，而不是簡單堆數據量。
同時，我們也在構建自己的數據飛輪。比如通過仿真引擎、數字孿生渲染，主動生成壹些現實世界裡很難采集到的強物理數據。舉個例子，壹個杯子放在桌子上，被外力撞倒——這種場景在真實世界裡很難大規模采集，但我們可以在仿真環境裡不斷生成。這些稀疏、邊緣、強物理屬性的數據，其實對通用世界基座模型非常重要。
虎嗅：你們現在做通用世界基座模型時，使用的數據的比例大概是多少？
陳博遠：如果從視角的維度來看，我們更關注的其實是第壹人稱（egocentric）數據和多視角（multi-view）數據之間的配比。我們內部目前探索出來的比例，大概是9:1，甚至10:1。而且我們認為，未來這個比例甚至可能擴展到100:1。
之所以這麼看重第壹人稱視角，是因為egocentric本質上代表了拍攝主體和視角交互的過程——“我采取了什麼動作，世界相應發生了什麼變化”。它天然帶有Action→State的因果結構，這正是世界模型最需要的信號。而多視角數據更多是從外部去觀察同壹個場景，更偏向補全空間結構和狀態表征。
虎嗅：我們假設未來第壹人稱數據和多視角數據能達到100:1，那是不是意味著，對那個“1”的要求會非常高？而且這裡真正高質量的交互數據，應該更多來自真實工業場景，而不是實驗室，對嗎？
陳博遠：對，那個"1"的質量要求確實非常高。
不過其實今天行業裡的很多數據，還沒有真正走到"實驗室數據"和"工業場景數據"之間的區別這壹步。當然這步很重要。因為更早的問題是，很多真實采集來的數據本身質量還不夠高。比如采集過程中會存在大量噪音、硬件誤差，以及設備和真實物理世界之間的不匹配。現在很多動捕設備、手套設備，本質上都還是"近似真實"，它和真正的物理交互之間仍然有gap。
也正因為這樣，我們才會特別看重第壹人稱視角的數據——它直接來自交互主體本身，能比較真實地反映"動作導致狀態變化"這個過程，而不是隔著設備去近似。
在此基礎上，我們會把整個數據體系總結成壹個“叁層金字塔”。
第壹層，是學習世界裡“有哪些狀態”。比如水會流動、物體能被抓起、玻璃會破碎。這壹層主要依賴大量真實世界視頻，以及復雜交互場景數據。
第贰層，是學習“什麼動作會導致什麼狀態變化”。也就是Action→State。這壹層的本質是在構造因果。這也是為什麼我們尤其需要大量第壹人稱（egocentric）數據，同時輔以仿真數據、真機數據。因為egocentric代表了拍攝主體和視角交互的過程，天然就帶有Action→State的因果屬性，是構造因果最直接的來源。
第叁層，則是長尾和稀疏物理規律。因為真實物理世界很多關鍵規律，都發生在突變場景裡。比如玻璃爆炸、物體遮擋、復雜空間關系等等。這壹層我們會引入大量第叁人稱視頻，以及數據飛輪生成的稀疏物理場景。
而且我們內部發現，這壹層的數據量甚至不需要很多。可能只占前兩層的1%，甚至0.5%，就能帶來很明顯的空間理解和泛化能力提升。
[物價飛漲的時候 這樣省錢購物很爽]
好新聞沒人評論怎麼行，我來說幾句
這些規則可能只是真實物理世界50%或者70%的映射，但它能夠成為學習真實物理規律的鋪墊。所以我們第壹件事，就是建立壹個從仿真到真實世界的數據躍遷過程。
第贰個關鍵點，是跨領域數據。因為對於通用世界基座模型來說，它本質上是壹個“all for one”的問題。不同場景背後反映的真實物理規律其實是壹致的。
我們內部發現，當引入跨場景數據之後，在某壹個垂類場景裡，數據需求量甚至能夠降低20倍，但效果反而更好。因為模型學到的是更通用的物理規律，而不是某個特定硬件、本體或者場景裡的“偽規律”。如果只依賴單壹場景數據，其實很容易過擬合。
第叁個關鍵點，是長尾物理數據。物理規律很多時候恰恰發生在稀疏和突變場景裡。比如YouTube、B站每天會產生大量視頻，但其中真正包含物理交互的數據比例其實非常低。可能只有5%的視頻包含抓取、拿取等簡單交互，而像玻璃破碎、爆炸這種強物理變化場景，可能只有0.5%。
但恰恰是這些“突變”，最能體現真實物理規律。
所以我們在做預訓練時，會重點篩選那些具有動態交互屬性的視頻，而不是簡單堆數據量。
同時，我們也在構建自己的數據飛輪。比如通過仿真引擎、數字孿生渲染，主動生成壹些現實世界裡很難采集到的強物理數據。舉個例子，壹個杯子放在桌子上，被外力撞倒——這種場景在真實世界裡很難大規模采集，但我們可以在仿真環境裡不斷生成。這些稀疏、邊緣、強物理屬性的數據，其實對通用世界基座模型非常重要。
虎嗅：你們現在做通用世界基座模型時，使用的數據的比例大概是多少？
陳博遠：如果從視角的維度來看，我們更關注的其實是第壹人稱（egocentric）數據和多視角（multi-view）數據之間的配比。我們內部目前探索出來的比例，大概是9:1，甚至10:1。而且我們認為，未來這個比例甚至可能擴展到100:1。
之所以這麼看重第壹人稱視角，是因為egocentric本質上代表了拍攝主體和視角交互的過程——“我采取了什麼動作，世界相應發生了什麼變化”。它天然帶有Action→State的因果結構，這正是世界模型最需要的信號。而多視角數據更多是從外部去觀察同壹個場景，更偏向補全空間結構和狀態表征。
虎嗅：我們假設未來第壹人稱數據和多視角數據能達到100:1，那是不是意味著，對那個“1”的要求會非常高？而且這裡真正高質量的交互數據，應該更多來自真實工業場景，而不是實驗室，對嗎？
陳博遠：對，那個"1"的質量要求確實非常高。
不過其實今天行業裡的很多數據，還沒有真正走到"實驗室數據"和"工業場景數據"之間的區別這壹步。當然這步很重要。因為更早的問題是，很多真實采集來的數據本身質量還不夠高。比如采集過程中會存在大量噪音、硬件誤差，以及設備和真實物理世界之間的不匹配。現在很多動捕設備、手套設備，本質上都還是"近似真實"，它和真正的物理交互之間仍然有gap。
也正因為這樣，我們才會特別看重第壹人稱視角的數據——它直接來自交互主體本身，能比較真實地反映"動作導致狀態變化"這個過程，而不是隔著設備去近似。
在此基礎上，我們會把整個數據體系總結成壹個“叁層金字塔”。
第壹層，是學習世界裡“有哪些狀態”。比如水會流動、物體能被抓起、玻璃會破碎。這壹層主要依賴大量真實世界視頻，以及復雜交互場景數據。
第贰層，是學習“什麼動作會導致什麼狀態變化”。也就是Action→State。這壹層的本質是在構造因果。這也是為什麼我們尤其需要大量第壹人稱（egocentric）數據，同時輔以仿真數據、真機數據。因為egocentric代表了拍攝主體和視角交互的過程，天然就帶有Action→State的因果屬性，是構造因果最直接的來源。
第叁層，則是長尾和稀疏物理規律。因為真實物理世界很多關鍵規律，都發生在突變場景裡。比如玻璃爆炸、物體遮擋、復雜空間關系等等。這壹層我們會引入大量第叁人稱視頻，以及數據飛輪生成的稀疏物理場景。
而且我們內部發現，這壹層的數據量甚至不需要很多。可能只占前兩層的1%，甚至0.5%，就能帶來很明顯的空間理解和泛化能力提升。
[物價飛漲的時候 這樣省錢購物很爽]
| 分享: |
| 注： | 在此頁閱讀全文 |
| 延伸閱讀 |
推薦: