DeepSeek怎麼賺錢?梁文峰的10萬億美元戰略
LPDDR 可以用來存儲海量的“Engram”（印跡模塊）。DeepSeek 在他們的論文（https://arxiv.org/pdf/2601.07372）中指出，雖然混合專家模型架構可以通過條件計算（Conditional Computation）來擴充模型的容量，但傳統的 Transformer 架構缺乏壹種天然的知識檢索機制，只能笨拙地通過高昂的“計算”去模擬“檢索”。為此，他們引入了 Engram 模塊，將經典的 N-gram 嵌入技術升級為基於哈希、時間復雜度為的瞬間查找，創造了壹個他們稱之為“條件內存”（Conditional Memory）的全新稀疏維度。這極大地省下了計算量，但代價是需要巨大的內存空間來存放這個龐大的嵌入表。這是壹次經典的“用空間（存儲）換時間（計算）”，其高明之處在於，讀取“存儲”的成本遠比進行計算要便宜得多（在 LPDDR 裡查壹下，可比讓大模型整整跑壹輪前向傳播省錢太多了）。在大規模部署時，這是壹筆劃算到家了的買賣。這就是他們如何通過狂砸內存來省下算力的秘密！！！
這種取舍簡直太值了：由於缺乏極紫外光刻機（EUV），無法在單個芯粒（Chiplet）上做到同等的晶體管密度，中國的 GPU 和 ASIC 在純粹的原始浮點運算能力（FLOPs）上，注定會長期落後於西方頂尖顯卡。同時，國內在先進封裝技術上也處於追趕狀態。因此，如果能利用國內產能充足、成本低廉的 NAND 和 LPDDR 內存來彌補算力的劣勢，這種“揚長避短”的打法簡直是絕配。
盤點 DeepSeek 的壹盤大棋：
縱觀這些令人眼花繚亂的創新和他們做出的種種抉擇（至今不做多模態、不做語音模型，至於視頻生成？那是什麼東西？），DeepSeek 的野心顯然不是眼前那區區幾億美元的蠅頭小利。他們正在極有耐心地下壹盤 10 萬億美元的大棋，目的是親手扶持起壹套獨立於西方之外的“備選硬件生態”。
這不僅讓中國的存儲芯片廠商在全球 AI 硬件舞台上躍升為主力軍，更從根本上降低了大模型訓練和推理的資源門檻。當運行 AI 模型的成本降下來後，原本性能稍遜的國產 GPU/ASIC 芯片以及網絡交換芯片也將全部變成“夠用、好用”的切實選項。而且，這些開源創新也將反哺西方的開源社區，並給西方那些試圖挑戰英偉達的芯片初創企業帶來壹線生機。
所有的蛛絲馬跡都對上了。讓我們來逐壹細數他們拋出的那些震撼行業的創新：
在 DeepSeek V2 中引入混合專家模型（MoE）和 MLA：MoE 讓訓練壹個極度聰明的模型減少了 40% 到 50% 的算力消耗；而多頭潛在注意力機制（MLA, Multi-head Latent Attention）更是把 KV 緩存直接砍掉了 90%，使得將緩存轉存到 SSD 變得極為高效。這些理念最早在他們 2024 年 5 月的論文（https://arxiv.org/pdf/2405.04434）中提出。正是憑借這些絕活，他們後來才能僅僅用 2048 張被閹割過的 H800 GPU，就硬生生訓練出了媲美頂級閉源模型的 DeepSeek V3。
[加西網正招聘多名全職sales 待遇優]
已經有 3 人參與評論了, 我也來說幾句吧
這種取舍簡直太值了：由於缺乏極紫外光刻機（EUV），無法在單個芯粒（Chiplet）上做到同等的晶體管密度，中國的 GPU 和 ASIC 在純粹的原始浮點運算能力（FLOPs）上，注定會長期落後於西方頂尖顯卡。同時，國內在先進封裝技術上也處於追趕狀態。因此，如果能利用國內產能充足、成本低廉的 NAND 和 LPDDR 內存來彌補算力的劣勢，這種“揚長避短”的打法簡直是絕配。
盤點 DeepSeek 的壹盤大棋：
縱觀這些令人眼花繚亂的創新和他們做出的種種抉擇（至今不做多模態、不做語音模型，至於視頻生成？那是什麼東西？），DeepSeek 的野心顯然不是眼前那區區幾億美元的蠅頭小利。他們正在極有耐心地下壹盤 10 萬億美元的大棋，目的是親手扶持起壹套獨立於西方之外的“備選硬件生態”。
這不僅讓中國的存儲芯片廠商在全球 AI 硬件舞台上躍升為主力軍，更從根本上降低了大模型訓練和推理的資源門檻。當運行 AI 模型的成本降下來後，原本性能稍遜的國產 GPU/ASIC 芯片以及網絡交換芯片也將全部變成“夠用、好用”的切實選項。而且，這些開源創新也將反哺西方的開源社區，並給西方那些試圖挑戰英偉達的芯片初創企業帶來壹線生機。
所有的蛛絲馬跡都對上了。讓我們來逐壹細數他們拋出的那些震撼行業的創新：
在 DeepSeek V2 中引入混合專家模型（MoE）和 MLA：MoE 讓訓練壹個極度聰明的模型減少了 40% 到 50% 的算力消耗；而多頭潛在注意力機制（MLA, Multi-head Latent Attention）更是把 KV 緩存直接砍掉了 90%，使得將緩存轉存到 SSD 變得極為高效。這些理念最早在他們 2024 年 5 月的論文（https://arxiv.org/pdf/2405.04434）中提出。正是憑借這些絕活，他們後來才能僅僅用 2048 張被閹割過的 H800 GPU，就硬生生訓練出了媲美頂級閉源模型的 DeepSeek V3。
[加西網正招聘多名全職sales 待遇優]
| 分享: |
| 注： | 在此頁閱讀全文 |
| 延伸閱讀 |
推薦: