Kimi K3 是我们展示的规模最大的模型，总参数量为 2.8T，激活参数为 104B。MI355X 在每用户 50 tok/s 的速度下每 MW 可服务约 8M tokens/s，约为 B300（约 24M）的三分之一，后者使用 NVIDIA 的多节点分离式配置。其曲线较为平缓，在每用户 12 tok/s 时达到约 13M 的峰值；对于单个代理，它可达到 152 tok/s，而 B300 为 235 tok/s。
Kimi K3 是我们展示的规模最大的模型，总参数量为 2.8T，激活参数为 104B。MI355X 在每用户 50 tok/s 的速度下每 MW 可服务约 8M tokens/s……
Artificial Analysis称Kimi K3是其收录的最大模型，总参数2.8T、激活104B，MI355X吞吐效率约为B300的三分之一。文中仅含服务效率数据，未涉及模型能力评测。
Artificial Analysis · X
内容说明
原始发布及相关权利归来源方。
机器翻译 · 请以原文为准