新聞 
大模型推理最高提速85%!deepseek發表重磅論文
大模型推理最高提速85%!deepseek發表重磅論文大模型推理最高提速85%!deepseek發表重磅論文
不拼參數拼速度：DSpark的兩項技術突破
大語言模型采用自回歸方式生成文本——每生成壹個新token都需要壹次完整前向傳播，推理延遲隨輸出長度線性增長。推測解碼（Speculative Decoding）是行業公認的解決路徑：用壹個輕量級草稿模型快速生成候選token，再由大模型批量驗證。
但現有方案各有短板。
自回歸草稿模型（如Eagle3）逐token串行生成，依賴關系建模能力強、接受率高，但草稿耗時隨候選塊長線性增長，只能使用短塊、淺層網絡。
為打破串行瓶頸，並行草稿模型成為更優方案：所有草稿位置僅需單次前向傳播即可生成，草稿耗時幾乎不受塊長影響。但想要充分發揮長並行草稿塊的潛力，仍存在兩大核心瓶頸：
生成質量瓶頸：並行草稿模型獨立預測每個位置，無法建模塊內 token 依賴，會出現多模態沖突問題，序列後半段 token 接受率快速衰減；
系統效率瓶頸：最優驗證長度難以確定。並行生成雖能產出長草稿塊，但不加區分地驗證全部 token 會降低系統吞吐，高並發場景下問題尤為突出。
DSpark針對這兩大瓶頸提出兩項互補機制。
半自回歸生成架構：保留並行主幹的高吞吐優勢，同時加入輕量級串行模塊，逐token注入前綴依賴信息。該模塊提供兩種實現——僅依賴前壹個token的馬爾可夫頭，以及通過循環狀態累積完整前綴信息的RNN頭。實驗表明，兩層Transformer深度的DSpark即可在所有測試領域超過伍層DFlash的接受長度。
置信度調度驗證機制：引入置信度頭評估每個token在給定前綴下的“存活概率”。硬件感知前綴調度器根據實時引擎吞吐量動態決定最優驗證長度，優先將算力分配給預期回報最高的token。論文發現原始置信頭存在置信度過高問題，團隊設計了“時序溫度縮放”後驗校准方案予以修正。
DeepSeek 在完成大額融資後並未單純追求參數擴容，而是關注落地效率，擊中產業真實痛點。在生成式AI從實驗室走向商業化的周期裡，“更快、更省算力”正在取代單純的模型跑分，成為廠商競爭力的關鍵指標。
[加西網正招聘多名全職sales 待遇優]
這條新聞還沒有人評論喔，等著您的高見呢
大語言模型采用自回歸方式生成文本——每生成壹個新token都需要壹次完整前向傳播，推理延遲隨輸出長度線性增長。推測解碼（Speculative Decoding）是行業公認的解決路徑：用壹個輕量級草稿模型快速生成候選token，再由大模型批量驗證。
但現有方案各有短板。
自回歸草稿模型（如Eagle3）逐token串行生成，依賴關系建模能力強、接受率高，但草稿耗時隨候選塊長線性增長，只能使用短塊、淺層網絡。
為打破串行瓶頸，並行草稿模型成為更優方案：所有草稿位置僅需單次前向傳播即可生成，草稿耗時幾乎不受塊長影響。但想要充分發揮長並行草稿塊的潛力，仍存在兩大核心瓶頸：
生成質量瓶頸：並行草稿模型獨立預測每個位置，無法建模塊內 token 依賴，會出現多模態沖突問題，序列後半段 token 接受率快速衰減；
系統效率瓶頸：最優驗證長度難以確定。並行生成雖能產出長草稿塊，但不加區分地驗證全部 token 會降低系統吞吐，高並發場景下問題尤為突出。
DSpark針對這兩大瓶頸提出兩項互補機制。
半自回歸生成架構：保留並行主幹的高吞吐優勢，同時加入輕量級串行模塊，逐token注入前綴依賴信息。該模塊提供兩種實現——僅依賴前壹個token的馬爾可夫頭，以及通過循環狀態累積完整前綴信息的RNN頭。實驗表明，兩層Transformer深度的DSpark即可在所有測試領域超過伍層DFlash的接受長度。
置信度調度驗證機制：引入置信度頭評估每個token在給定前綴下的“存活概率”。硬件感知前綴調度器根據實時引擎吞吐量動態決定最優驗證長度，優先將算力分配給預期回報最高的token。論文發現原始置信頭存在置信度過高問題，團隊設計了“時序溫度縮放”後驗校准方案予以修正。
DeepSeek 在完成大額融資後並未單純追求參數擴容，而是關注落地效率，擊中產業真實痛點。在生成式AI從實驗室走向商業化的周期裡，“更快、更省算力”正在取代單純的模型跑分，成為廠商競爭力的關鍵指標。
[加西網正招聘多名全職sales 待遇優]
| 分享: |
| 注： | 在此頁閱讀全文 |
| 延伸閱讀 |
推薦: