英伟达 VFlash:快 12 倍的不是机器人,是「写坐标」的方式
VFlash 把轨迹、包围框当作独立解码块,由轻量草稿模型一次并行写出,而不是逐 token 吐坐标。H100、batch=1 下动作解码快 12 倍、端到端 5.1 倍,三维轨迹误差最大降 61%。这里拆开三个加速比的口径与部署成本。
英伟达 11 月 5 日开源的 VFlash,在 H100、batch size=1 下把三维点运动预测的单次生成速度拉到 25 倍,机器人动作解码 12 倍。这篇要判断的是:这 12 倍该记在模型账上,还是记在输出表示的账上。
慢的不是推理,是一个坐标一个坐标地写
自回归 VLM 输出轨迹的方式,是把坐标写成 token 序列。一条 20 个航点的平面轨迹就是 40 个数字,三维再加一维,长轨迹动辄上百个数字。
数字本身还不止一个 token。小数点、整数位、符号各占一位,一个坐标常常被切成三到四个 token。所谓「吐一个坐标」,实际代价是吐三四个 token。
代价因此分两层。第一层是步数:每多一个航点就多一轮前向,延迟随轨迹长度线性增长,想要更细的轨迹就得更慢。
第二层是误差。第 7 个航点采样偏了,后面所有航点都在错误的上下文上继续写,而且无法回退——token 已经采样出去,没有撤销这一说。
这就是级联误差的来源。它不是因为模型不准,而是因为解码顺序把「前面写错」变成了「后面全错」。轨迹越长,这个放大越明显。
几何量还有一个性质被自回归浪费掉了:坐标之间强相关。相邻航点不会跳变,包围框的四条边互相约束,第三维往往由前两维决定。
逐 token 生成等于把这个约束交给模型一位一位去猜。猜对了是运气,猜错了没有回退机制。轨迹越长,浪费的约束越多。
论文的表述很克制:更丰富的预测会变得越来越贵。这句话把问题定位在输出长度上,而不是模型能力上。定位一变,解法就跟着变。
原语化:解码单位从 token 提到结构
VFlash 的方法叫 Flash Primitive Decoding,中文一般译作闪速原语解码。名字里的 primitive 是关键:轨迹、包围框、点,都是长度、维度、语义边界都已知的几何对象,不是自由文本。
自由文本的问题是「不知道下一个词是什么、也不知道还要写多少」。几何对象没有这个问题:一个包围框就是四个数,一条 30 点轨迹就是 30 组坐标,长度在生成前就定了。
既然长度已知,就没有必要一个一个吐。一个轻量草稿模型在一次前向里,把整个几何对象一次性写出来,主干 VLM 只负责提供上下文。
这个草稿模型很轻:5 层非因果 Transformer,体量远小于主干。它干的活是「把已知结构填满」,不是「理解图像」,所以不需要深。
主干全程冻结,这一点最容易被忽略。它没有重训一个更大的模型,也没有加参数,而是给现有模型换了一条输出通路。
换个说法:解码单位从 token 提升到结构。同一份权重,同一份视觉输入,输出的语法变了。
三个对齐,解决结构和 token 位对不上的问题
把几何对象当解码块,第一个坑是切分。一个包围框的四个坐标如果被 token 窗口从中间切开,块就不再是块,并行也就失去意义。边界对齐要求解码块严格对应一个完整几何对象。
第二个坑是位置。自回归靠顺序隐式编码位置,第 5 个 token 天然就在第 5 位;并行解码没有顺序可用,模型不知道哪个数填哪个槽。
VFlash 的解法是专用 token 加定宽字段:每个坐标占固定宽度的位置,前面用专用标记起头。位置由字段宽度保证,不由生成顺序保证。
第三个坑是训练目标。草稿模型是 5 层非因果 Transformer,在主干冻结的前提下训练,学的是几何结构,不是 token 序列。
这里有个容易漏掉的取舍。文本子任务仍然走投机解码,用校验保证分布一致;几何路径没有这一层校验,它接受的是「结构上合法」的预测,而不是「和原模型 token 一致」的预测。
这个取舍是整套方法的地基,也是后面那条限制的伏笔。
加速比与精度对照
下表全部取自论文与官方发布,口径统一为 H100、batch size=1、单次生成。截至发稿没有第三方复现。
| 任务 | 加速比 | 精度变化 | 口径 |
|---|---|---|---|
| 三维点运动预测 | 最高 25× | — | 生成阶段,单次生成 |
| 机器人动作解码 | 最高 12× | — | 生成阶段,单次生成 |
| 端到端机器人推理 | 最高 5.1× | — | Jetson Thor,3,552 ms → 703 ms |
| 3D 轨迹误差 | — | 最大降 61% | 论文口径,取最大值 |
| 六项轨迹指标平均 | — | 三维位移误差降 42.6% | ShareRobot-Bench、VABench-V |
| DAVIS 稠密三维运动 | — | 位移误差降 27% | 论文口径,单项 |
| COCO、Dense200 包围框 | 2.6–2.8× | 基本持平 | 论文口径 |
| MolmoSpaces 四组任务 | — | 成功率 70.2%,基线 62.6% | 世界动作模型,四组平均 |
读这张表要盯住三件事。25 倍和 12 倍都是生成阶段的速度,不是端到端;5.1 倍才是端到端,因为它是把 3,552 ms 压到 703 ms 的那个数。
三个数的落差本身就是信息。越往端到端走,加速比越小,说明解码之外还有很多环节没有变快。官方没有拆出各段占比,这里不做推算。
精度那一列不是同一个基准。61% 是最大值,42.6% 是六项指标的平均,27% 是单数据集上的单项。三个数不能相加,也不能互相替代。
包围框那行的措辞是「基本持平」,不是「持平」。2.6 到 2.8 倍的加速换来精度持平,在几何任务里已经是划算的交换,但它确实不是无损。
还有几项没进表:官方没有公布显存占用、草稿模型的参数规模,也没有公布并发与长轨迹下的衰减曲线。这三项对量产选型比加速比更关键,目前只能等复现。
值得一提的是,这篇论文的评测覆盖了 2D 与 3D 两类机器人轨迹任务,也覆盖了驾驶场景的规划质量。跨任务一致降误差,比单任务冲高分更有说服力。
判断:换的是输出表示,不是模型
如果只看快 12 倍,很容易读成「英伟达做了个更快的 VLM」。但主干是冻结的,参数量没变,单次前向的计算量没变,快的原因是少走了自回归的步数。
所以这不是一次模型迭代,是一次接口迭代。它改的是坐标怎么被写出来,不是坐标该写什么。
这个区分有实际后果。模型迭代意味着换权重、重跑评测、重新对齐业务指标;接口迭代意味着前端不动、业务逻辑不动,只换解码层。后者的迁移成本低得多。
对具身智能的意义落在延迟上,不落在分数上。70.2% 对 62.6% 是 7.6 个百分点,是实打实的提升,但不是这套方法的主菜。
延迟为什么比分数重要,在机器人身上很好解释。规划环节省下的两秒,可以换成多看一帧、多试一条候选轨迹、或者把控制频率提上去。分数提升 7 个点,换不来这些。
反过来,如果延迟不构成瓶颈,这套方法的价值就很有限。一个离线标注流水线,快 12 倍只是省电费,不是省产线节拍。
Jim Fan 的评论是「下一场推理革命是以反射速度进行的物理推理」。这是个人表述,不是论文结论;但它点中了要害——机器人缺的不是更强的推理,是更短的回路。
三个限制,都写进了论文和口径
第一,计时只覆盖模型管线。图像预处理、后处理、把坐标翻译成物理控制指令,都不在那 3,552 ms 里。真机节拍要另外加上这几段。
这条限制最容易被忽略,因为 703 ms 听起来已经够快。但 50 Hz 控制回路的单周期预算只有 20 ms(自算:1000/50),703 ms 相当于 35 个周期,它解决的是「规划不再拖后腿」,不是「规划进入反射弧」。
第二,论文自述输出分布不再与原模型一致。这正是它能并行的前提,代价是稠密三维运动预测的部分指标变差。27% 是平均改善,不覆盖每一个子项。
这对需要逐 token 复现的链路是硬伤。缓存比对、回归测试、审计留痕,原来都假设同一输入同一输出;现在这个假设在几何路径上不成立了。
工程上的应对不是回避,而是换指标。原来比「输出是否一致」,现在要比「结构是否合法、几何是否一致」。这是两种验收方式,不能混用。
第三,单机、单 batch 是实验室口径。产线是多路并发,吞吐曲线和单请求延迟不是一回事;batch=1 时的优势,在 batch=8 时未必保留,官方未公布并发下的数据。
另外要看清「最高」两个字。25 倍、12 倍、5.1 倍都是上限值,不是均值。用上限做容量规划,通常会低估所需机器数。
部署建议:先在离线链路验几何一致性
第一步不是上真机,是验几何。并行解码放弃了 token 级一致,就该在离线和仿真链路里逐帧比对:轨迹曲率、端点是否落在可达空间、包围框角点顺序是否稳定。
第二步是版本绑定。草稿模型是贴着某个 VLM 版本训出来的,主干一升级,草稿模型大概率要跟着重训。这是长期维护成本,不是一次性集成成本。
| 优先级 | 动作 | 依据 |
|---|---|---|
| P0 | 在仿真里跑几何一致性回归,比对曲率与端点 | 输出分布已不同于原模型 |
| P0 | 记录草稿模型与主干版本号,锁成一对 | 版本错配会静默劣化 |
| P1 | 端到端计时覆盖预处理与控制翻译 | 官方 5.1 倍不含这两段 |
| P1 | 在目标 batch 下复测吞吐,而非只测单请求 | batch=1 数据不可外推 |
| P1 | 对稠密运动预测单独建精度看板 | 该子项存在变差指标 |
| P2 | 把「几何合法性」写进验收标准 | 结构合法不等于物理可达 |
先把坐标怎么写从坐标写什么里拆出来,延迟问题才有解——这是 VFlash 真正给出的东西,也是它最容易被误读成「又一个更快的模型」的地方。
参考来源:arXiv:2611.08449、英伟达官方发布、DoNews 与机器之心口径整理。
延伸阅读:
登录后可点赞、收藏与反馈。