DeepSeek 近期公布单个生产集群日均吞吐高达 155 万亿 Token，单张高性能显卡每小时能创造约 38 美元（折合人民币约 270 元）的收入。很多公司老板在热搜上看到这个数字，立刻把技术负责人叫进办公室，问既然开源模型权重是免费的，为什么每个月还要给云厂商交几万块的接口费，咱们自己租几张显卡搭个服务是不是能省下一大笔钱。
遇到老板这样问，技术负责人可以把三句话和具体账本直接摆在桌面上。大厂单卡能赚 38 美元，是因为全网几百万用户白天黑夜拼单，把算力塞得严丝合缝；普通公司自己的内部系统晚上和周末根本没人用，长租八卡服务器每个月要白掏 5 万到 7 万元固定开销；如果一天只跑一两亿 Token，直接调 API 一个月才花三五千块钱，只有每天稳定跑 30 亿到 50 亿 Token 以上，自己租卡才划算。
如果是因为银行、医院或政企系统的数据合规红线必须在本地部署，自建买的是合规确定性。这时候利用 DeepSeek 刚开源的 DeepInfer 推理框架，把显存占用和硬件门槛压下来，用更少、更便宜的显卡稳稳跑起来，才是帮公司省下采购费的实在解法。
单卡每小时赚 38 美元的前提是昼夜满载拼单，单机小并发跑不出这个数
DeepSeek 单卡每小时能收 38 美元，前提是昼夜不停的高并发把计算资源彻底填满。这套模型采用的是混合专家架构，总参数量虽然庞大，但每次处理具体内容时只激活其中一小部分专家。在官方机房里，成千上万张显卡连在高速网络里，每台机器负责几个专家。当全网几百万用户源源不断发来请求时，调度系统能够把海量提问打包成极大的批次，让每块显卡的核心一秒都不闲着。
大模型跑推理有两个阶段。第一阶段是读懂用户输入的提示词，第二阶段是一个字一个字往外吐回答。在吐字阶段，显卡最容易卡在显存读取速度上。如果每次只处理一个用户的提问，显卡核心算两下就要停下来等待模型权重从显存慢慢搬运到计算核心，计算核心大部分时间都在干等。大厂的做法是把成百上千个用户的提问打包成超大批次，权重搬运一次，同时给几百个用户算下一个字，显卡的计算能力这才被彻底榨干。
更关键的是提问前缀的缓存命中。DeepSeek 官方系统有超过一半的请求前缀直接在高速固态硬盘缓存里命中了。用户在对话框里发来一段几千字的长文档提问，前面的系统提示词和上下文不用每次重新算，直接读取缓存就能出结果。这等于省下了一大半的矩阵计算。在官方规模化机房里，单张高性能显卡每小时的折旧、电力和机柜综合成本大约只要 2 美元（折合人民币约 14 元）。花 2 美元成本，产出 38 美元的接口服务，九成以上的高毛利就是这么来的。
如果一家普通企业自己去租一台八卡服务器，这套拼单逻辑立刻就不灵了。企业内部的客服助手、知识库搜索或办公工具，流量有着明显的潮汐规律。周一到周五早上 9 点到下午 6 点，员工和客户集中使用，系统偶尔还会排队；可一到了晚上和周末，几乎没有人发请求，八张昂贵的算力卡只能在机房里开着空调静静空转，每小时昂贵的租金和电费一分钱都少不了。
算一算时间账就很惊人。一家公司如果每周只在工作日朝九晚六使用大模型，一周 168 个小时里真正有请求的时间只有 45 个小时，剩下的 123 个小时全在纯空转。这意味着超过七成的时间里，公司在替夜间完全闲置的显卡交租金和电费。缺少足够的用户并发，小服务器的批处理大小通常只有一两条请求，显卡核心大部分时间都在干等内存搬运，实际利用率常常不到百分之十。大厂是用一列坐满了几千名乘客的高铁在分摊车费，而企业自己租服务器，相当于一个人包下一整列高铁上下班，哪怕买的是同型号的车，单次出行的成本也天差地别。
直接调 API 和自己长租八卡算力服务器，月度账单在多少调用量上打平
算清楚这笔账，技术负责人最需要看的是两套方案在真实月度开销上的对比。
目前在国内算力云市场上长租一台配备八张高规格算力卡（如 H800 或同级主力算力）的服务器，一个月整机租金加上机柜托管费和独享带宽，固定支出普遍在 5 万元到 7 万元人民币之间。如果为了应对业务高可用再准备一台热备机器，或者算上专职维护容器云底座的运维工程师人力分摊，真实成本还要更高。只要签了租赁合同，无论公司当月跑了一万次还是一亿次提问，这五到七万块钱都得照付不误。
相比之下，国内大模型接口按量计费非常便宜。不管是直接调用 DeepSeek 官方接口，还是用阿里云百炼、字节跳动火山方舟，开启上下文缓存后，每百万 Token 的综合成本只有 1 元到 3 元人民币。这种计费方式没有任何闲置浪费，白天忙碌按使用量扣几块钱，晚上没人用账单立刻停下来。
| 业务日均消耗规模 | 官方/云厂商 API 月度开销（元） | 自租八卡服务器月度综合成本（元） | 真实有效负载率预估 | 经济性建议结论 |
|---|---|---|---|---|
| 日均 1 亿 Token | 约 3000 至 6000 | 约 50000 至 70000 | 低于 5%（夜间全量闲置） | 调 API 节省九成以上支出 |
| 日均 5 亿 Token | 约 15000 至 30000 | 约 50000 至 70000 | 约 15%（波峰偶有排队） | 坚持使用 API 按量计费更划算 |
| 日均 20 亿 Token | 约 60000 至 120000 | 约 50000 至 70000 | 约 35%（白天负载较高） | 接近账单打平临界区 |
| 日均 50 亿 Token | 约 150000 至 300000 | 约 50000 至 70000（需扩容双机） | 超过 70%（昼夜批处理打满） | 稳定满载下自建开始体现优势 |
从账本对比可以看得很清楚，如果公司一天只消耗几千万到一亿 Token，调 API 一个月才花三千到六千块钱，租服务器等于每个月白扔五万块交夜间空转的电费。哪怕每天消耗到 5 亿 Token，调 API 一个月也只要一万五到三万元，依然比自租整机省下一半以上的预算。
只有当每天的 Token 消耗量常年稳定在 30 亿到 50 亿以上，并且能把夜间闲置算力安排给海量文档离线向量化、大批量报表离线提取等离线计算任务，自己租卡才开始划算。对于绝大多数中小企业和初创团队来说，日均几十亿 Token 的消耗量是个遥远的数字，盲目跟风租卡部署只会白白增加财务负担。
为了数据不出域必须私有化部署时，怎么用 DeepInfer 压低硬件门槛
有些企业必须自建，并不是为了在账单上省钱，碰上的是严格的安全红线。
银行的核心账务数据、医院的患者病例、政务部门的保密文稿以及科技公司的核心自研代码库，都有硬性规定，数据绝不能走出公司内网。对于这些单位，数据安全是不能商量的硬规矩，这时候技术团队的核心任务，就是把硬件采购成本压下来，用更少的钱把模型稳定跑起来。
针对必须私有化部署的需求，DeepSeek 开源的高性能推理框架 DeepInfer 提供了实用的技术方案。过去在本地跑几百亿参数的大模型，开源社区的普通工具显存开销很大，通常需要买昂贵的顶配八卡机器才能勉强带得动。而 DeepInfer 把大厂机房里验证成熟的底层加速技术全开源了。
在硬件适配上，DeepInfer 针对英伟达显卡以及华为昇腾 950 等国产芯片做了专门的底层算子优化。框架自带 FlashMLA 显存优化技术，大幅压缩多头注意力计算对显存带宽的占用，让缓存消耗的显存缩减到以往的几分之一；配合 DeepGEMM 矩阵加速库与 DeepEP 跨卡通信库，把节点间互相等待的时间大幅缩短。这样一来，原本需要顶配八卡才能塞下的模型，现在可以用更少、更便宜的显卡装进去，甚至在四卡或者国产算力工作站上平稳启动。
在生成速度上，DeepInfer 引入了 DSpark 投机加速技术。系统在前向计算时可以并行预测后面的几个字，再通过置信度调度一次性验证通过，把生成速度拉快了两到三倍，相当于把单台服务器承接并发提问的能力放大了两三倍。这让企业原本捉襟见肘的几张卡，在白天高峰期也能扛住更多员工的并发提问，不至于动不动就卡顿排队。
此外，框架原生支持结构化输出约束，可以直接按规则吐出标准 JSON 或表格数据格式，避免模型输出多余废话或乱码导致业务系统反复重试报错。结合滑动局部注意力（SWA）的机制，系统在处理几万字的长文档时能够严格控制显存增长，让资源有限的本地机房也能顺畅处理复杂的长文本分析任务。
对于有合规硬要求的企业，理性的做法是借助 DeepInfer 压低显存和硬件门槛，用国产芯片或者中等规格卡搭建一套够用、稳定的小集群。不盲目追求大厂的超大规模并发，把有限的预算花在数据安全与业务打通上，才是兼顾合规要求与实际开销的成熟做法。