DeepSeek怎么赚钱?梁文峰的10万亿美元战略
LPDDR 可以用来存储海量的“Engram”（印迹模块）。DeepSeek 在他们的论文（https://arxiv.org/pdf/2601.07372）中指出，虽然混合专家模型架构可以通过条件计算（Conditional Computation）来扩充模型的容量，但传统的 Transformer 架构缺乏一种天然的知识检索机制，只能笨拙地通过高昂的“计算”去模拟“检索”。为此，他们引入了 Engram 模块，将经典的 N-gram 嵌入技术升级为基于哈希、时间复杂度为的瞬间查找，创造了一个他们称之为“条件内存”（Conditional Memory）的全新稀疏维度。这极大地省下了计算量，但代价是需要巨大的内存空间来存放这个庞大的嵌入表。这是一次经典的“用空间（存储）换时间（计算）”，其高明之处在于，读取“存储”的成本远比进行计算要便宜得多（在 LPDDR 里查一下，可比让大模型整整跑一轮前向传播省钱太多了）。在大规模部署时，这是一笔划算到家了的买卖。这就是他们如何通过狂砸内存来省下算力的秘密！！！
这种取舍简直太值了：由于缺乏极紫外光刻机（EUV），无法在单个芯粒（Chiplet）上做到同等的晶体管密度，中国的 GPU 和 ASIC 在纯粹的原始浮点运算能力（FLOPs）上，注定会长期落后于西方顶尖显卡。同时，国内在先进封装技术上也处于追赶状态。因此，如果能利用国内产能充足、成本低廉的 NAND 和 LPDDR 内存来弥补算力的劣势，这种“扬长避短”的打法简直是绝配。
盘点 DeepSeek 的一盘大棋：
纵观这些令人眼花缭乱的创新和他们做出的种种抉择（至今不做多模态、不做语音模型，至于视频生成？那是什么东西？），DeepSeek 的野心显然不是眼前那区区几亿美元的蝇头小利。他们正在极有耐心地下一盘 10 万亿美元的大棋，目的是亲手扶持起一套独立于西方之外的“备选硬件生态”。
这不仅让中国的存储芯片厂商在全球 AI 硬件舞台上跃升为主力军，更从根本上降低了大模型训练和推理的资源门槛。当运行 AI 模型的成本降下来后，原本性能稍逊的国产 GPU/ASIC 芯片以及网络交换芯片也将全部变成“够用、好用”的切实选项。而且，这些开源创新也将反哺西方的开源社区，并给西方那些试图挑战英伟达的芯片初创企业带来一线生机。
所有的蛛丝马迹都对上了。让我们来逐一细数他们抛出的那些震撼行业的创新：
在 DeepSeek V2 中引入混合专家模型（MoE）和 MLA：MoE 让训练一个极度聪明的模型减少了 40% 到 50% 的算力消耗；而多头潜在注意力机制（MLA, Multi-head Latent Attention）更是把 KV 缓存直接砍掉了 90%，使得将缓存转存到 SSD 变得极为高效。这些理念最早在他们 2024 年 5 月的论文（https://arxiv.org/pdf/2405.04434）中提出。正是凭借这些绝活，他们后来才能仅仅用 2048 张被阉割过的 H800 GPU，就硬生生训练出了媲美顶级闭源模型的 DeepSeek V3。
[物价飞涨的时候 这样省钱购物很爽]
已经有 2 人参与评论了, 我也来说几句吧
这种取舍简直太值了：由于缺乏极紫外光刻机（EUV），无法在单个芯粒（Chiplet）上做到同等的晶体管密度，中国的 GPU 和 ASIC 在纯粹的原始浮点运算能力（FLOPs）上，注定会长期落后于西方顶尖显卡。同时，国内在先进封装技术上也处于追赶状态。因此，如果能利用国内产能充足、成本低廉的 NAND 和 LPDDR 内存来弥补算力的劣势，这种“扬长避短”的打法简直是绝配。
盘点 DeepSeek 的一盘大棋：
纵观这些令人眼花缭乱的创新和他们做出的种种抉择（至今不做多模态、不做语音模型，至于视频生成？那是什么东西？），DeepSeek 的野心显然不是眼前那区区几亿美元的蝇头小利。他们正在极有耐心地下一盘 10 万亿美元的大棋，目的是亲手扶持起一套独立于西方之外的“备选硬件生态”。
这不仅让中国的存储芯片厂商在全球 AI 硬件舞台上跃升为主力军，更从根本上降低了大模型训练和推理的资源门槛。当运行 AI 模型的成本降下来后，原本性能稍逊的国产 GPU/ASIC 芯片以及网络交换芯片也将全部变成“够用、好用”的切实选项。而且，这些开源创新也将反哺西方的开源社区，并给西方那些试图挑战英伟达的芯片初创企业带来一线生机。
所有的蛛丝马迹都对上了。让我们来逐一细数他们抛出的那些震撼行业的创新：
在 DeepSeek V2 中引入混合专家模型（MoE）和 MLA：MoE 让训练一个极度聪明的模型减少了 40% 到 50% 的算力消耗；而多头潜在注意力机制（MLA, Multi-head Latent Attention）更是把 KV 缓存直接砍掉了 90%，使得将缓存转存到 SSD 变得极为高效。这些理念最早在他们 2024 年 5 月的论文（https://arxiv.org/pdf/2405.04434）中提出。正是凭借这些绝活，他们后来才能仅仅用 2048 张被阉割过的 H800 GPU，就硬生生训练出了媲美顶级闭源模型的 DeepSeek V3。
[物价飞涨的时候 这样省钱购物很爽]
| 分享: |
| Note: | _VIEW_NEWS_FULL |
| 延伸阅读 |
推荐: