把模型蚀刻进硅里：定制推理芯片跑出第三条路线

10 月 8 日，三家媒体先后报道，英伟达计划投资 AI 服务器芯片开发商 d-Matrix。这家成立七年的公司本身就做推理芯片，是英伟达的竞争对手；按报道的说法，这是英伟达自去年 12 月与 Groq 达成授权协议之后，初次投资这类初创企业。三个月前，英伟达已公开表示正与 d-Matrix 合作，让两家公司的芯片协同处理同一个推理任务的不同环节。

同一天，围绕专用推理芯片的另一条路线也在推进。据 Electronics For You 报道，一家名为 Taalas 的公司把整颗模型的权重与参数直接蚀刻进专用集成电路，而不是像 GPU 那样保持可编程。据其披露的数据，初代芯片在运行压缩后的 Llama 3.1 8B 时，吞吐达到每秒 1.4 万到 1.7 万 token；基于该架构的整机机架功耗约 12 到 15 千瓦，而常见 GPU 机架在 120 到 600 千瓦之间。另据行业报道，AMD 已于今年 8 月宣布收购 Taalas，预计在第四季度完成交割。

把这两条消息放在一起，指向的是同一件事：算力支出的重心，正在从训练挪到推理；而一旦推理变成每天都在结账的账目，芯片的衡量标准就不再只是通用性，而是每一单位算力的取得成本。

其一，一颗芯片只跑一个模型，换来的是速度与功耗

通用 GPU 的算力是「可编程」的，代价是大部分的电路在大部分时间里并不在处理当前这个模型需要的那部分计算。把模型固化进硅片，等于把这部分冗余砍掉。据披露，这条路线的关键特征包括：

• 模型权重与参数直接写入专用集成电路，不再依赖外置高带宽内存。
• 初代芯片跑压缩后的 Llama 3.1 8B，披露吞吐为每秒 1.4 万到 1.7 万 token。
• 整机机架功耗宣称约 12 到 15 千瓦，远低于通用 GPU 机架的 120 到 600 千瓦。
• 代价是灵活性：一颗芯片绑定一个模型，模型迭代就要重新流片，厂商称改版只需修改两层金属层，约两个月可出新片。

这句话反过来读也很清楚：定制芯片省下的是单位算力成本，增加的是设计、流片、验证与软件适配的固定投入。只有负载足够大、足够稳定的模型，这笔账才算得平。它天然利好那些被大规模、长期使用的开源权重模型，而不利于频繁更换的试验性模型。

其二，真正的信号是巨头开始「买下对手」，而不是消灭对手

英伟达投资 d-Matrix，AMD 收购 Taalas，两件事的性质其实相近：在推理这条赛道上，通用加速卡之外的分工已经足够真实，以至于头部厂商宁可把它纳入自己的版图，也不愿它完全独立生长。报道提到，英伟达过去一年里先后买入了英特尔与 Marvell 的股份，部分原因就是要让自家 GPU 能与这两家的芯片整合；据芯片初创公司的知情人士说，英伟达还向多家初创企业提出过让自家芯片兼容其网络技术的要求。

这背后有一个务实的判断：与其在每一个细分环节都正面击败对手，不如让对手的芯片变成自己互联体系里的一块拼图。对买算力的公司来说，短期看是选择变多了；长期看，是被更牢地锁进了一套硬件生态的时间表里。

当算力支出从训练转向推理，芯片的竞争就从「谁更通用」变成了「谁把每个 token 的成本压得更低」。

其三，对创业者与投资人的三个观察点

这场变化短期不会改变任何一家公司今天的云账单，但会重新定义未来两三年里，什么算力值得买、什么算力值得等。

• 算力成本的口径要换成「每请求成本」。模型选择之外，单位吞吐、机架功耗、是否需要液冷，都会直接落到单位经济模型里，需要比过去更频繁地重算。
• 别把产品锁死在一个冷门模型上。专用硬件天然偏爱被大量使用的权重，绑定小众模型，可能在下一轮硬件降价时发现自己无路可退。
• 关注「定制化」向中小客户的溢出。今天这类芯片主要服务超大规模客户；一旦单位成本的优势扩散到可分租的算力市场，独立开发者与中小团队拿到便宜推理的速度，会比想象中快。

结语：账本比参数更早给出答案

训练是一次性的支出，推理是每天都在结的账。当买芯片的资金开始以债务与表外实体的形式筹措，当芯片厂商开始把有竞争力的对手收进自己的生态，真正被定价的就不再是某个参数指标，而是「把一个 token 送到用户面前需要花多少钱」。这个问题，比任何一场发布会上的跑分都更接近生意的本质。