选 2–4 台机器,生成一张带内存带宽和本地推理估算的对比图,可直接下载分享。
为什么看带宽?推理时每生成一个 token 都要把模型权重从内存读一遍,所以速度 ≈ 带宽 ÷ 模型体积。核心数再多也绕不过这条。
已选 0 / 4
勾选你要对比的机器,图会实时更新。点「下载 PNG」拿到一张 2400px 宽的图,可以直接发群、发小红书、贴到知乎回答里。
「32B 装不下」的判定是内存 ≥ 19GB × 1.25——那 25% 留给 KV cache 和系统。上下文开得越长,需要的余量越多,所以标了能跑也别指望开到 128K。