新浪新闻

每Token成本降一半、模型升级只需调2%代码——天数智芯的‘好用GPU’到底做对了哪三件事?

BigNews 11.03 19:03

天数智芯把通用GPU从“能用”推到“好用”,做对的关键是三件事:全栈软件栈深度兼容CUDA、代码迁移效率提升80%以上,架构围绕Attention、MoE与PD分离持续优化、并靠IXL144超节点把单位Token成本压低约40%,同时用通用GPU路线覆盖训练、推理、端侧全场景。

一、软件栈:把“改代码”的成本压下来

兼容CUDA:原生兼容主流GPU编程模型,官方称代码迁移效率提升80%以上、算子可达“分钟级”快速适配

Day0跟上新模型:新模型、新算子发布当天即可原生支持,DeepSpark开源社区已适配超610个主流算法模型

量化提效:搭载无损量化的大模型加速工具包,长文本处理效率提升50%、算力利用率提升60%、通信开销降低30%

二、架构与超节点:单位Token成本从哪降

架构级优化:围绕Attention、MoE、AF分离、PD分离优化,Attention整体效率超90%,64k上下文Attention与MoE效能较Hopper方案提升约10%

超节点摊薄成本:IXL144超节点集成144卡,配套方案可降低约40% Token成本、推理延迟降低约60%

实测参考:媒体开放日第三方实测单卡吞吐约为H200的1.05倍,但属特定PD分离场景,并不等于全场景超越

三、通用GPU路线:跟上模型快速迭代

可编程性强:坚持通用GPGPU,模型从纯Decoder转向MoE、多模态时,可凭软件优化持续释放性能,避免专用芯片半年就架构过时

全场景产品:天垓(训练)、智铠(推理)、彤央(端侧)覆盖云边端,训练与推理营收结构互补

生态成形:截至2025年底已服务超340家客户、完成逾1000项部署与落地 (以上内容均由AI生成)

加载中...