编辑部快讯
第 2518 号 · 2026-10-28 · 晨间版

US 美国10-28 04:15⏱ 2 分钟

llama.cpp b11936:k-pool 稀疏选择构建不再依赖 kq_mask 形状

llama.cpp b11936:k-pool 稀疏选择构建不再依赖 kq_ma

llama:k-pool 稀疏选择的构建不再依赖 kq_mask 形状(#31243)。qwen4exp(QSA)与 glm5-next 按索引挑选缓存单元,已不再读取 kq_mask 的取值,但选择本身仍沿用稠密 kq_mask 的形状来构造。

llama:k-pool 稀疏选择的构建不再依赖 kq_mask 形状(#31243)

qwen4exp(QSA)与 glm5-next 按索引挑选缓存单元,已不再读取 kq_mask 的取值,但选择本身仍按稠密 kq_mask 的形状来构造。现在改为直接在缓存单元上构建 [n_kv, n_tokens] 形状的选择,并在注意力计算前按 K 视图的流切分。这样,稠密掩码可以更换布局(例如按序列的行列表),而不必触碰稀疏层。

改进注释

llama:删去 build_fused_top_k_mask 中未使用的参数,并按评审意见微调

Website: https://llama.app Attestations: https://github.com/ggml-org/llama.cpp/attestations/60550938

发布说明另附 macOS/iOS、Linux、Android、Windows、openEuler 各平台构建产物清单与公证信息。

本页为站内快照,仅作聚合阅读;内容来自公开网络,版权归原作者所有。