新闻 
大模型推理最高提速85%!deepseek发表重磅论文
大模型推理最高提速85%!deepseek发表重磅论文大模型推理最高提速85%!deepseek发表重磅论文
不拼参数拼速度：DSpark的两项技术突破
大语言模型采用自回归方式生成文本——每生成一个新token都需要一次完整前向传播，推理延迟随输出长度线性增长。推测解码（Speculative Decoding）是行业公认的解决路径：用一个轻量级草稿模型快速生成候选token，再由大模型批量验证。
但现有方案各有短板。
自回归草稿模型（如Eagle3）逐token串行生成，依赖关系建模能力强、接受率高，但草稿耗时随候选块长线性增长，只能使用短块、浅层网络。
为打破串行瓶颈，并行草稿模型成为更优方案：所有草稿位置仅需单次前向传播即可生成，草稿耗时几乎不受块长影响。但想要充分发挥长并行草稿块的潜力，仍存在两大核心瓶颈：
生成质量瓶颈：并行草稿模型独立预测每个位置，无法建模块内 token 依赖，会出现多模态冲突问题，序列后半段 token 接受率快速衰减；
系统效率瓶颈：最优验证长度难以确定。并行生成虽能产出长草稿块，但不加区分地验证全部 token 会降低系统吞吐，高并发场景下问题尤为突出。
DSpark针对这两大瓶颈提出两项互补机制。
半自回归生成架构：保留并行主干的高吞吐优势，同时加入轻量级串行模块，逐token注入前缀依赖信息。该模块提供两种实现——仅依赖前一个token的马尔可夫头，以及通过循环状态累积完整前缀信息的RNN头。实验表明，两层Transformer深度的DSpark即可在所有测试领域超过五层DFlash的接受长度。
置信度调度验证机制：引入置信度头评估每个token在给定前缀下的“存活概率”。硬件感知前缀调度器根据实时引擎吞吐量动态决定最优验证长度，优先将算力分配给预期回报最高的token。论文发现原始置信头存在置信度过高问题，团队设计了“时序温度缩放”后验校准方案予以修正。
DeepSeek 在完成大额融资后并未单纯追求参数扩容，而是关注落地效率，击中产业真实痛点。在生成式AI从实验室走向商业化的周期里，“更快、更省算力”正在取代单纯的模型跑分，成为厂商竞争力的关键指标。
[物价飞涨的时候 这样省钱购物很爽]
无评论不新闻，发表一下您的意见吧
大语言模型采用自回归方式生成文本——每生成一个新token都需要一次完整前向传播，推理延迟随输出长度线性增长。推测解码（Speculative Decoding）是行业公认的解决路径：用一个轻量级草稿模型快速生成候选token，再由大模型批量验证。
但现有方案各有短板。
自回归草稿模型（如Eagle3）逐token串行生成，依赖关系建模能力强、接受率高，但草稿耗时随候选块长线性增长，只能使用短块、浅层网络。
为打破串行瓶颈，并行草稿模型成为更优方案：所有草稿位置仅需单次前向传播即可生成，草稿耗时几乎不受块长影响。但想要充分发挥长并行草稿块的潜力，仍存在两大核心瓶颈：
生成质量瓶颈：并行草稿模型独立预测每个位置，无法建模块内 token 依赖，会出现多模态冲突问题，序列后半段 token 接受率快速衰减；
系统效率瓶颈：最优验证长度难以确定。并行生成虽能产出长草稿块，但不加区分地验证全部 token 会降低系统吞吐，高并发场景下问题尤为突出。
DSpark针对这两大瓶颈提出两项互补机制。
半自回归生成架构：保留并行主干的高吞吐优势，同时加入轻量级串行模块，逐token注入前缀依赖信息。该模块提供两种实现——仅依赖前一个token的马尔可夫头，以及通过循环状态累积完整前缀信息的RNN头。实验表明，两层Transformer深度的DSpark即可在所有测试领域超过五层DFlash的接受长度。
置信度调度验证机制：引入置信度头评估每个token在给定前缀下的“存活概率”。硬件感知前缀调度器根据实时引擎吞吐量动态决定最优验证长度，优先将算力分配给预期回报最高的token。论文发现原始置信头存在置信度过高问题，团队设计了“时序温度缩放”后验校准方案予以修正。
DeepSeek 在完成大额融资后并未单纯追求参数扩容，而是关注落地效率，击中产业真实痛点。在生成式AI从实验室走向商业化的周期里，“更快、更省算力”正在取代单纯的模型跑分，成为厂商竞争力的关键指标。
[物价飞涨的时候 这样省钱购物很爽]
| 分享: |
| Note: | _VIEW_NEWS_FULL |
| 延伸阅读 |
推荐: