DeepSeek之後,又壹中國大模型登Nature
智東西2月1日報道，北京時間1月29日，北京智源人工智能研究院推出的多模態大模型“悟界·Emu”登上Nature正刊，成為繼DeepSeek之後第贰個達成此成就的中國大模型團隊研究成果，也是中國首篇圍繞多模態大模型路線的Nature論文。
Nature官網截圖
Nature編輯點評道：“Emu3僅基於‘預測下壹個token’實現了大規模文本、圖像和視頻的統壹學習，其在生成與感知任務上的性能可與使用專門路線相當，這壹成果對構建可擴展、統壹的多模態智能系統具有重要意義，有望推動原生多模態助手、世界模型以及具身智能等方向的發展。”
Emu3有望推動具身智能等方向發展
“悟界·Emu3”模型由智源研究院於2024年10月推出。無論在感知和還是生成方面，Emu3均達到了與特定任務旗艦模型相媲美的性能。該模型能夠完成文本到圖像生成、文本到視頻生成、未來預測、視覺語言理解、交錯圖像文本生成以及具身操作等多方面任務，這壹成果對於確立自回歸成為生成式AI統壹路線具有重大意義。
如下圖所示，Emu3的圖像生成在MSCOCO-30K23等基准上表現優於SDXL等擴散模型；視頻生成在VBench評分達81，超過Open-Sora 1.2；視覺語言理解得分62.1，略高於LLaVA-1.6。盡管這壹成績在如今已經比較尋常，但在兩年前卻非同壹般。
Emu3圖像生成、視覺-語言理解和視頻生成的主要測評結果
前OpenAI政策主管、現Anthropic聯合創始人傑克·克拉克（Jack Clark）當時評價Emu3：“不依賴花哨的架構技巧，僅用最基礎的預測下壹個token的邏輯，這種‘簡單’被視為具備強大的擴展潛力。”
而正是這種“簡單”架構路線，對降低大模型研發門檻和成本意義重大。“越是極簡的架構，可能越具備強大的生產力，對產業的價值也越大。”智源研究院院長王仲遠告訴智東西，“因為它簡化了多模態AI架構，減少了研發過程中的復雜性和潛在錯誤，從而使模型的構建和維護更高效。”
[物價飛漲的時候 這樣省錢購物很爽]
還沒人說話啊，我想來說幾句
Nature官網截圖
Nature編輯點評道：“Emu3僅基於‘預測下壹個token’實現了大規模文本、圖像和視頻的統壹學習，其在生成與感知任務上的性能可與使用專門路線相當，這壹成果對構建可擴展、統壹的多模態智能系統具有重要意義，有望推動原生多模態助手、世界模型以及具身智能等方向的發展。”
Emu3有望推動具身智能等方向發展
“悟界·Emu3”模型由智源研究院於2024年10月推出。無論在感知和還是生成方面，Emu3均達到了與特定任務旗艦模型相媲美的性能。該模型能夠完成文本到圖像生成、文本到視頻生成、未來預測、視覺語言理解、交錯圖像文本生成以及具身操作等多方面任務，這壹成果對於確立自回歸成為生成式AI統壹路線具有重大意義。
如下圖所示，Emu3的圖像生成在MSCOCO-30K23等基准上表現優於SDXL等擴散模型；視頻生成在VBench評分達81，超過Open-Sora 1.2；視覺語言理解得分62.1，略高於LLaVA-1.6。盡管這壹成績在如今已經比較尋常，但在兩年前卻非同壹般。
Emu3圖像生成、視覺-語言理解和視頻生成的主要測評結果
前OpenAI政策主管、現Anthropic聯合創始人傑克·克拉克（Jack Clark）當時評價Emu3：“不依賴花哨的架構技巧，僅用最基礎的預測下壹個token的邏輯，這種‘簡單’被視為具備強大的擴展潛力。”
而正是這種“簡單”架構路線，對降低大模型研發門檻和成本意義重大。“越是極簡的架構，可能越具備強大的生產力，對產業的價值也越大。”智源研究院院長王仲遠告訴智東西，“因為它簡化了多模態AI架構，減少了研發過程中的復雜性和潛在錯誤，從而使模型的構建和維護更高效。”
[物價飛漲的時候 這樣省錢購物很爽]
| 分享: |
| 注： | 在此頁閱讀全文 |
| 延伸閱讀 |
推薦: