[皇帝] Deepseek是真正的創新還是穿著AI皇帝的新衣?
昨天看到很多群裡轉發這條信息：“據彭博新聞周贰報道，微軟和 OpenAI 正在調查 ChatGPT 技術的數據輸出是否被與 DeepSeek 相關的壹個團體以未經授權的方式獲取。
報道稱，微軟的安全研究人員觀察到，在去年秋季，他們認為與 DeepSeek 有關的個人使用 OpenAI 的應用程序編程接口（API）提取了大量數據。”
許多人根據這條信息做出結論，認為Deepseek是小偷，Deepseek是Deepshit。許多人都在轉發這篇題為《deepseek穿上Ai皇帝的新衣，精英集體蛻化為烏合之眾》的文章，認為DeepSeek不過是基於OpenAI的GPT企業版API做了壹些贰次封裝和微調，核心技術並未自研。
我認為這個結論是不准確的，把DS的蒸餾技術當作API贰次封裝顯然是對AI的核心技術不夠了解。
那麼什麼是蒸餾技術呢，業內人士壹般稱為model distillation（模型蒸餾）， 也有人稱為knowledge distillation（知識蒸餾），簡單來說，就是將復雜大模型（教師模型）的知識“壓縮”到更輕量的小模型（學生模型）中，通過模仿教師模型的輸出（如概率分布），小模型保持了高性能並且減少了計算量。通俗壹點講，就是學生模仿老師的輸出或中間特征，從而將老師的知識和方法（如推理能力、模式識別等）遷移到學生手裡。
而API贰次封裝指的是壹個App把終端用戶的問題直接甩給另外壹個App，得到回復後再把答案返回這邊的App。
注意這兩者最大的不同是在蒸餾技術裡，學生模型學會了老師的推理方法，有了自己的模型，用戶的問題是在學生模型裡生成的，來自學生自己的App，而在後者，答案是來自另外壹個App。
而DeepSeek的核心優化手段是知識蒸餾，目的是將大模型的智能推理方法高效遷移到自己的輕量化模型中，而非直接壓縮數據，更不是簡單的贰次包裝獲取答案。
文章中提到DeepSeek調用OpenAI的核心證據是當問及”what model are you“時，Deepseek回答是chatGPT，或者”GTP-3”，但這其實不過是DS在Post Training Reinforcement learning （RL）的階段調用了壹些OpenAI的API 獲取壹些數據。而這種調用是允許的，並且是付費的。當然，這裡的確有壹個潛在的問題，那就是OpenAI的API調用，每壹個賬號都有壹個Limit，不知道DS是不是用code或者多人多賬號的方式繞過了這個Limit，這大概就是微軟所說的未經授權的方式獲取數據。
昨天和谷歌壹個負責Gemini構建的技術主管聊了壹陣，他說，其實大模型蒸餾是很常見的，業界壹般就是調用比較強的大模型，獲取幾千至上萬不等的prompts & responses用來做RL。DS的Thinking Model（推理模型）有很大的創新，業界公認的推理模型第壹梯隊包括openAI，谷歌和DS，Anthropic還沒有自己的thinking model， Meta在這方面是落後的。AI業內人士早在半年前就關注DS了，Deepseek的技術是很靠譜的，梁文峰是業界公認的懂技術細節的領導者，放眼整個AI圈都找不到壹把手CEO這麼懂技術細節。DS的確是做的非常好，有許多創新，並且是改變了游戲規則，低成本也可以做AI開發，這必然會鼓勵更多人加入AI的開發大軍。
有人說，DS不過就是蒸餾技術裡的佼佼者而已，答案也並非如此。DS的確是有不少自己的創新的， 用我的壹位朋友，AI技術大拿張崢的話說，就是站在巨人肩膀上，長出了自己的腦袋。
那麼DS到底有哪些創新呢？
首先是模型架構上有創新。
DS是以強化學習（RL）為核心驅動推理能力，傳統大模型主要依賴監督微調（SFT），而 DS首次利用RL作為推理能力的核心訓練方式。DeepSeek-R1-Zero 甚至完全采用 RL 訓練，不依賴 SFT，當然也出現可讀性差、語言混亂等問題。但這是首個公開研究證明 LLM 的推理能力可以純粹通過RL 激勵，而不需要 SFT。這個純粹依賴RL作為訓練方式有些像Deepmind的AlphaGo，通過不斷地學習，不斷地糾錯，從壹無所知直接練成壹個絕世高手。這壹突破為未來該領域的研究奠定了基礎。
[物價飛漲的時候 這樣省錢購物很爽]
這條新聞還沒有人評論喔，等著您的高見呢
報道稱，微軟的安全研究人員觀察到，在去年秋季，他們認為與 DeepSeek 有關的個人使用 OpenAI 的應用程序編程接口（API）提取了大量數據。”
許多人根據這條信息做出結論，認為Deepseek是小偷，Deepseek是Deepshit。許多人都在轉發這篇題為《deepseek穿上Ai皇帝的新衣，精英集體蛻化為烏合之眾》的文章，認為DeepSeek不過是基於OpenAI的GPT企業版API做了壹些贰次封裝和微調，核心技術並未自研。
我認為這個結論是不准確的，把DS的蒸餾技術當作API贰次封裝顯然是對AI的核心技術不夠了解。
那麼什麼是蒸餾技術呢，業內人士壹般稱為model distillation（模型蒸餾）， 也有人稱為knowledge distillation（知識蒸餾），簡單來說，就是將復雜大模型（教師模型）的知識“壓縮”到更輕量的小模型（學生模型）中，通過模仿教師模型的輸出（如概率分布），小模型保持了高性能並且減少了計算量。通俗壹點講，就是學生模仿老師的輸出或中間特征，從而將老師的知識和方法（如推理能力、模式識別等）遷移到學生手裡。
而API贰次封裝指的是壹個App把終端用戶的問題直接甩給另外壹個App，得到回復後再把答案返回這邊的App。
注意這兩者最大的不同是在蒸餾技術裡，學生模型學會了老師的推理方法，有了自己的模型，用戶的問題是在學生模型裡生成的，來自學生自己的App，而在後者，答案是來自另外壹個App。
而DeepSeek的核心優化手段是知識蒸餾，目的是將大模型的智能推理方法高效遷移到自己的輕量化模型中，而非直接壓縮數據，更不是簡單的贰次包裝獲取答案。
文章中提到DeepSeek調用OpenAI的核心證據是當問及”what model are you“時，Deepseek回答是chatGPT，或者”GTP-3”，但這其實不過是DS在Post Training Reinforcement learning （RL）的階段調用了壹些OpenAI的API 獲取壹些數據。而這種調用是允許的，並且是付費的。當然，這裡的確有壹個潛在的問題，那就是OpenAI的API調用，每壹個賬號都有壹個Limit，不知道DS是不是用code或者多人多賬號的方式繞過了這個Limit，這大概就是微軟所說的未經授權的方式獲取數據。
昨天和谷歌壹個負責Gemini構建的技術主管聊了壹陣，他說，其實大模型蒸餾是很常見的，業界壹般就是調用比較強的大模型，獲取幾千至上萬不等的prompts & responses用來做RL。DS的Thinking Model（推理模型）有很大的創新，業界公認的推理模型第壹梯隊包括openAI，谷歌和DS，Anthropic還沒有自己的thinking model， Meta在這方面是落後的。AI業內人士早在半年前就關注DS了，Deepseek的技術是很靠譜的，梁文峰是業界公認的懂技術細節的領導者，放眼整個AI圈都找不到壹把手CEO這麼懂技術細節。DS的確是做的非常好，有許多創新，並且是改變了游戲規則，低成本也可以做AI開發，這必然會鼓勵更多人加入AI的開發大軍。
有人說，DS不過就是蒸餾技術裡的佼佼者而已，答案也並非如此。DS的確是有不少自己的創新的， 用我的壹位朋友，AI技術大拿張崢的話說，就是站在巨人肩膀上，長出了自己的腦袋。
那麼DS到底有哪些創新呢？
首先是模型架構上有創新。
DS是以強化學習（RL）為核心驅動推理能力，傳統大模型主要依賴監督微調（SFT），而 DS首次利用RL作為推理能力的核心訓練方式。DeepSeek-R1-Zero 甚至完全采用 RL 訓練，不依賴 SFT，當然也出現可讀性差、語言混亂等問題。但這是首個公開研究證明 LLM 的推理能力可以純粹通過RL 激勵，而不需要 SFT。這個純粹依賴RL作為訓練方式有些像Deepmind的AlphaGo，通過不斷地學習，不斷地糾錯，從壹無所知直接練成壹個絕世高手。這壹突破為未來該領域的研究奠定了基礎。
[物價飛漲的時候 這樣省錢購物很爽]
| 分享: |
| 注： | 在此頁閱讀全文 |
| 延伸閱讀 | 更多... |
推薦: