Polymathic AI 与普林斯顿研究者发布 FlashMap：实现 6.14 倍 LLM 解码加速的 Flow Map 起草器

FlashMap 由 Polymathic AI、普林斯顿大学和 USC ISI 的研究者推出，是一种推测解码起草器：一次前向即可联合起草 16 个 token，在 Qwen3-8B 上实现最高 6.14 倍无损加速。本文原载于 MarkTechPost。

来自 Polymathic AI、普林斯顿大学、USC ISI、纽约大学（NYU）和 Flatiron Institute 的研究者发布了 FlashMap。FlashMap 推测解码用连续 flow map 取代了离散扩散起草器，一次前向传播即可起草完整的 16-token 块，且块内 token 彼此保持一致。研究团队报告，在 Qwen3-8B 的 GSM8K 上实现了最高 6.14 倍无损加速。Qwen3-8B 和 Qwen3-4B 的起草器权重已发布在 Hugging Face 上，并附有 vLLM 和 SGLang 插件。

FlashMap 是一种推测解码起草器，只需 1 步即可把高斯噪声映射为一个 token 块。小型起草器提出 K 个 token，目标模型再用 1 次并行前向验证全部 K 个，并保留最长匹配前缀。输出与目标模型自行生成的内容完全一致。

速度取决于两件事：起草的 token 有多少被接受，以及起草的成本有多低。EAGLE-3 采用自回归方式起草，成本随块长增长；DFlash 则用块扩散一次起草整个块。

DFlash 对块中每个槽位独立预测，研究团队称之为“因子化近似”。设想下一个延续等概率地是“new york”或“san diego”，独立起草器会有一半概率给出“new diego”或“san york”这类组合，而目标模型会在第 2 个槽位将其拒绝。

FlashMap 建立在 Flow Map Language Models 之上：每个噪声样本映射到 1 个完整的块，噪声为每个槽位联合选定模式。

起草器是一个 6 块的 diffusion transformer（DiT），嵌入维度 2048、16 个注意力头。它读取目标模型第 1、9、17、25、33 层的隐藏状态；嵌入矩阵和 LM head 直接从目标模型复制并保持冻结。

两种起草器都在 Open-PerfectBlend 的 50 万条样本上训练；所有模型和消融实验的总算力约为 H200 上的 4,600 GPU 小时。

研究团队在相同数据和设置下重新训练了 EAGLE-3 和 DFlash 作为对照。测试覆盖数学、代码和对话共 9 个基准，温度取 0 和 1 两档。

洗牌测试用于检验起草是否真正利用了 token 间的联合结构：在 2 步设置下，FlashMap 拿回了 16 步教师模型的大部分联合结构收益；在 1 步设置下只保留很小一部分。将 4 个噪声样本按树状起草，平均可将加速比再提升 11%。

平均加速比由 MarkTechPost 根据 FlashMap 论文图 1(c) 计算得出，对齐行的基线采用作者重新训练的版本。

flashmap 包只需 torch 和 transformers>=4.56，用 uv pip install flashmap 安装。一次 spec_generate 调用即可在单张 GPU 上同时运行起草器和目标模型。

部署方面，项目主页给出了两条路径：设置 num_steps=2，用一点速度换取更高接受率；在温度高于 0 采样时，vLLM 需配置 “draft_sample_method”: “probabilistic”。