受够了云端合成榜单和小样本测试，我为 4B–35B 模型自建了一台本地 GPU 基准测试服务器

大家好。每次看现有的 LLM 榜单，我都觉得缺一份实用数据：在买得起的本地硬件上跑量化开源权重模型的真实表现。大多数榜单只是照搬厂商云端分数，或者只跑基准的一小撮样本，而且没有一份榜单会告诉你，一个模型实际要坐在那里算多久才能跑完。

大家好。每次看现有的 LLM 榜单，我都觉得缺一份实用数据：在买得起的本地硬件上跑量化开源权重模型，到底表现如何。大多数榜单只是照搬厂商的云端分数，或者只跑基准里很小的一撮样本，而且没有一份榜单会告诉你，一个模型实际要坐在那里算多久才能跑完。因为找不到现成的东西，我专门搭了一台 Linux 测试服务器：两张 RTX 5060 Ti，共 32 GB 显存，在 Docker 里跑 vLLM。过去几周，我把 12 个当前的本地模型从 4B 到 35B 完整跑完了基准数据集，不做任何抽样，包括 IFEval、IFBench、ARC AGI 1、SimpleQA、SimpleQA Verified、SciCode 和 vLLM bench serve。参测阵容有 Qwen 3.5、Qwen 3.6、Qwen 3.8 的 4B、9B、27B 和 35B A3B，Google Gemma 4 的 E4B、26B A4B 和 31B，以及 NVFP4、AWQ 等 4 bit 量化的 GLM 4.7 Flash。每个模型在所有基准上都测了两遍——一遍关闭思考（thinking），一遍开启思考——均使用官方采样参数。测试运行期间，系统会精确记录实际耗时和 tokens/s 吞吐量，并为表格里的每一格算出 0 到 100 的时间效率分。结果这成了整个项目最有意思的部分。你能一眼看出哪些模型 20 或 30 分钟就能拿下高分，哪些模型因为在一道简单题上来回打转，GPU 一烧就是 10 个小时。尤其是 Qwen 3.6 35B A3B 和 Gemma 4 26B A4B 这类 MoE 模型让我意外：它们只用零头时间就跑完了，成绩却追平甚至超过 27B 和 31B 的稠密模型。我把全部结果整理成一张清晰可排序的对比表，放在我网站的新子页 https://llmbenchmarks.io/local-gpu-benchmarks/ 上，手头是 16 GB 或 32 GB 配置的人可以在下载 20 GB 权重之前先看看数据。这是个个人项目，无广告、无跟踪、无返利链接，Chess Puzzles 等新基准此刻已经在服务器上开跑。欢迎来看一眼，也欢迎告诉我还想测哪些本地模型。

/u/Careful-Report6526 提交 [link] [comments]