新浪新闻

DeepSeek融资后首发DSpark推理提速85%摘要

BigNews 06.27 19:28

DeepSeek在完成500亿元融资后,联合北京大学开源DSpark推测解码框架,通过半自回归架构与置信度调度验证机制,在真实线上服务中将单用户生成速度提升60%–85%,显著突破高并发推理延迟瓶颈。



DSpark创新性地融合并行效率与序列依赖:其半自回归设计缓解草稿尾部token接受率衰减,置信度调度则动态分配算力,避免高并发下无效校验导致的吞吐滑坡,实现工程级稳定加速。

该技术以MIT协议全栈开源DeepSpec工具链,支持Qwen、Gemma等第三方模型适配,大幅降低推测解码落地门槛,标志着大模型竞争重心从参数规模转向算力利用效率与工程化能力。

加载中...