新闻 
DeepSeek怎么赚钱?梁文峰的10万亿美元战略
DeepSeek怎么赚钱?梁文峰的10万亿美元战略DeepSeek怎么赚钱?梁文峰的10万亿美元战略
DSA（密集跳跃注意力机制）：在论文（https://ariv.org/pdf/2512.02556）中推出，旨在削减长上下文场景下的计算量，同时缓解 HBM 的带宽压力。它确保了计算量不会随着上下文的拉长而发生爆炸式增长。看看下面的图表——DeepSeek-v3.2 的处理时间在上下文拉长时依然稳如泰山。
mHC（修正超连接）：在 2025 年 12 月的论文（https://arxiv.org/pdf/2512.24880）中首次亮相。mHC是 DeepSeek 在宏观架构上的一大创新，它彻底颠覆了大模型各层之间传统的信号传输方式。过去大家都在用自 ResNet 时代流传下来的标准残差连接，而 mHC 则把这条残差流扩展成了多条并行的“信息高速公路”，并允许模型自主学习如何进行混合。最为关键的是，它通过数学手段（将混合矩阵通过 Sinkhorn-Knopp 投影约束在 Birkhoff 多胞形上）强制让这些混合矩阵满足双随机性，从而在数学上完美确保了信号强度在穿过任意深度的网络层时都不会衰减。
这彻底解决了此前困扰无约束超连接（Hyper-Connections，最早由字节跳动发明）的灾难性不稳定难题——此前在 270 亿（27B）参数规模下，信号放大系数会疯狂飙升到 3000 倍，导致整个训练彻底崩盘。
而它的计算成本却微乎其微：由于它完全没有改变注意力层或前馈网络（FFN, Feed-Forward Network）层的原始浮点运算量，仅仅改变了输出在各层之间的路由方式，因此它只增加了区区 6.7% 的实际训练时间开销。
然而它带来的性能提升却极为震撼：在同等模型大小和几乎完全相同的算力预算下，27B 规模的模型在 mHC 的加持下，在复杂的 BIG-Bench Hard 推理测试中暴涨了 7.2 分，DROP 评测提升 3.2 分，GSM8K 数学测试提升 2.8 分，MMLU 综合学科知识提升 1.4 分。
简而言之，mHC 通过给网络赋予一套更丰富、更有表现力的跨层信息路由拓扑结构，在几乎不需要额外多花一丁点算力的情况下，让单位参数发挥出了显着更高的“智商”。
CSA 与 HSA：在 2026 年 4 月发布的 DeepSeek V4 Pro 技术文档（https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main/DeepSeek_V4.pdf）中亮相。它们通过对 KV Token 进行深度压缩，把本来就已经很小的 KV 缓存需求又砍掉了 90%！同时大幅降低了所需的浮点运算量，一举帮 HBM 和 GPU/ASIC 彻底解套。
[物价飞涨的时候 这样省钱购物很爽]
已经有 2 人参与评论了, 我也来说几句吧
mHC（修正超连接）：在 2025 年 12 月的论文（https://arxiv.org/pdf/2512.24880）中首次亮相。mHC是 DeepSeek 在宏观架构上的一大创新，它彻底颠覆了大模型各层之间传统的信号传输方式。过去大家都在用自 ResNet 时代流传下来的标准残差连接，而 mHC 则把这条残差流扩展成了多条并行的“信息高速公路”，并允许模型自主学习如何进行混合。最为关键的是，它通过数学手段（将混合矩阵通过 Sinkhorn-Knopp 投影约束在 Birkhoff 多胞形上）强制让这些混合矩阵满足双随机性，从而在数学上完美确保了信号强度在穿过任意深度的网络层时都不会衰减。
这彻底解决了此前困扰无约束超连接（Hyper-Connections，最早由字节跳动发明）的灾难性不稳定难题——此前在 270 亿（27B）参数规模下，信号放大系数会疯狂飙升到 3000 倍，导致整个训练彻底崩盘。
而它的计算成本却微乎其微：由于它完全没有改变注意力层或前馈网络（FFN, Feed-Forward Network）层的原始浮点运算量，仅仅改变了输出在各层之间的路由方式，因此它只增加了区区 6.7% 的实际训练时间开销。
然而它带来的性能提升却极为震撼：在同等模型大小和几乎完全相同的算力预算下，27B 规模的模型在 mHC 的加持下，在复杂的 BIG-Bench Hard 推理测试中暴涨了 7.2 分，DROP 评测提升 3.2 分，GSM8K 数学测试提升 2.8 分，MMLU 综合学科知识提升 1.4 分。
简而言之，mHC 通过给网络赋予一套更丰富、更有表现力的跨层信息路由拓扑结构，在几乎不需要额外多花一丁点算力的情况下，让单位参数发挥出了显着更高的“智商”。
CSA 与 HSA：在 2026 年 4 月发布的 DeepSeek V4 Pro 技术文档（https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main/DeepSeek_V4.pdf）中亮相。它们通过对 KV Token 进行深度压缩，把本来就已经很小的 KV 缓存需求又砍掉了 90%！同时大幅降低了所需的浮点运算量，一举帮 HBM 和 GPU/ASIC 彻底解套。
[物价飞涨的时候 这样省钱购物很爽]
| 分享: |
| 注： | 在此页阅读全文 |
| 延伸阅读 |
推荐: