个人学习小站 SIGNAL DESK 2026
LIVE --:--:-- 投稿 账号
资讯 人工智能 arXiv:2611.08449、英伟达官方发布、DoNews 与机器之心口径整理

英伟达 VFlash:快 12 倍的不是机器人,是「写坐标」的方式

VFlash 把轨迹、包围框当作独立解码块,由轻量草稿模型一次并行写出,而不是逐 token 吐坐标。H100、batch=1 下动作解码快 12 倍、端到端 5.1 倍,三维轨迹误差最大降 61%。这里拆开三个加速比的口径与部署成本。

2026年11月13日 13 小时前 作者 站长 约 8 分钟 2 阅读

英伟达 11 月 5 日开源的 VFlash,在 H100、batch size=1 下把三维点运动预测的单次生成速度拉到 25 倍,机器人动作解码 12 倍。这篇要判断的是:这 12 倍该记在模型账上,还是记在输出表示的账上。

慢的不是推理,是一个坐标一个坐标地写

自回归 VLM 输出轨迹的方式,是把坐标写成 token 序列。一条 20 个航点的平面轨迹就是 40 个数字,三维再加一维,长轨迹动辄上百个数字。

数字本身还不止一个 token。小数点、整数位、符号各占一位,一个坐标常常被切成三到四个 token。所谓「吐一个坐标」,实际代价是吐三四个 token。

代价因此分两层。第一层是步数:每多一个航点就多一轮前向,延迟随轨迹长度线性增长,想要更细的轨迹就得更慢。

第二层是误差。第 7 个航点采样偏了,后面所有航点都在错误的上下文上继续写,而且无法回退——token 已经采样出去,没有撤销这一说。

这就是级联误差的来源。它不是因为模型不准,而是因为解码顺序把「前面写错」变成了「后面全错」。轨迹越长,这个放大越明显。

几何量还有一个性质被自回归浪费掉了:坐标之间强相关。相邻航点不会跳变,包围框的四条边互相约束,第三维往往由前两维决定。

逐 token 生成等于把这个约束交给模型一位一位去猜。猜对了是运气,猜错了没有回退机制。轨迹越长,浪费的约束越多。

论文的表述很克制:更丰富的预测会变得越来越贵。这句话把问题定位在输出长度上,而不是模型能力上。定位一变,解法就跟着变。

原语化:解码单位从 token 提到结构

VFlash 的方法叫 Flash Primitive Decoding,中文一般译作闪速原语解码。名字里的 primitive 是关键:轨迹、包围框、点,都是长度、维度、语义边界都已知的几何对象,不是自由文本。

自由文本的问题是「不知道下一个词是什么、也不知道还要写多少」。几何对象没有这个问题:一个包围框就是四个数,一条 30 点轨迹就是 30 组坐标,长度在生成前就定了。

既然长度已知,就没有必要一个一个吐。一个轻量草稿模型在一次前向里,把整个几何对象一次性写出来,主干 VLM 只负责提供上下文。

这个草稿模型很轻:5 层非因果 Transformer,体量远小于主干。它干的活是「把已知结构填满」,不是「理解图像」,所以不需要深。

主干全程冻结,这一点最容易被忽略。它没有重训一个更大的模型,也没有加参数,而是给现有模型换了一条输出通路。

换个说法:解码单位从 token 提升到结构。同一份权重,同一份视觉输入,输出的语法变了。

三个对齐,解决结构和 token 位对不上的问题

把几何对象当解码块,第一个坑是切分。一个包围框的四个坐标如果被 token 窗口从中间切开,块就不再是块,并行也就失去意义。边界对齐要求解码块严格对应一个完整几何对象。

第二个坑是位置。自回归靠顺序隐式编码位置,第 5 个 token 天然就在第 5 位;并行解码没有顺序可用,模型不知道哪个数填哪个槽。

VFlash 的解法是专用 token 加定宽字段:每个坐标占固定宽度的位置,前面用专用标记起头。位置由字段宽度保证,不由生成顺序保证。

第三个坑是训练目标。草稿模型是 5 层非因果 Transformer,在主干冻结的前提下训练,学的是几何结构,不是 token 序列。

这里有个容易漏掉的取舍。文本子任务仍然走投机解码,用校验保证分布一致;几何路径没有这一层校验,它接受的是「结构上合法」的预测,而不是「和原模型 token 一致」的预测。

这个取舍是整套方法的地基,也是后面那条限制的伏笔。

加速比与精度对照

下表全部取自论文与官方发布,口径统一为 H100、batch size=1、单次生成。截至发稿没有第三方复现。

任务加速比精度变化口径
三维点运动预测最高 25×—生成阶段,单次生成
机器人动作解码最高 12×—生成阶段,单次生成
端到端机器人推理最高 5.1×—Jetson Thor,3,552 ms → 703 ms
3D 轨迹误差—最大降 61%论文口径,取最大值
六项轨迹指标平均—三维位移误差降 42.6%ShareRobot-Bench、VABench-V
DAVIS 稠密三维运动—位移误差降 27%论文口径,单项
COCO、Dense200 包围框2.6–2.8×基本持平论文口径
MolmoSpaces 四组任务—成功率 70.2%,基线 62.6%世界动作模型,四组平均

读这张表要盯住三件事。25 倍和 12 倍都是生成阶段的速度,不是端到端;5.1 倍才是端到端,因为它是把 3,552 ms 压到 703 ms 的那个数。

三个数的落差本身就是信息。越往端到端走,加速比越小,说明解码之外还有很多环节没有变快。官方没有拆出各段占比,这里不做推算。

精度那一列不是同一个基准。61% 是最大值,42.6% 是六项指标的平均,27% 是单数据集上的单项。三个数不能相加,也不能互相替代。

包围框那行的措辞是「基本持平」,不是「持平」。2.6 到 2.8 倍的加速换来精度持平,在几何任务里已经是划算的交换,但它确实不是无损。

还有几项没进表:官方没有公布显存占用、草稿模型的参数规模,也没有公布并发与长轨迹下的衰减曲线。这三项对量产选型比加速比更关键,目前只能等复现。

值得一提的是,这篇论文的评测覆盖了 2D 与 3D 两类机器人轨迹任务,也覆盖了驾驶场景的规划质量。跨任务一致降误差,比单任务冲高分更有说服力。

判断:换的是输出表示,不是模型

如果只看快 12 倍,很容易读成「英伟达做了个更快的 VLM」。但主干是冻结的,参数量没变,单次前向的计算量没变,快的原因是少走了自回归的步数。

所以这不是一次模型迭代,是一次接口迭代。它改的是坐标怎么被写出来,不是坐标该写什么。

这个区分有实际后果。模型迭代意味着换权重、重跑评测、重新对齐业务指标;接口迭代意味着前端不动、业务逻辑不动,只换解码层。后者的迁移成本低得多。

对具身智能的意义落在延迟上,不落在分数上。70.2% 对 62.6% 是 7.6 个百分点,是实打实的提升,但不是这套方法的主菜。

延迟为什么比分数重要,在机器人身上很好解释。规划环节省下的两秒,可以换成多看一帧、多试一条候选轨迹、或者把控制频率提上去。分数提升 7 个点,换不来这些。

反过来,如果延迟不构成瓶颈,这套方法的价值就很有限。一个离线标注流水线,快 12 倍只是省电费,不是省产线节拍。

Jim Fan 的评论是「下一场推理革命是以反射速度进行的物理推理」。这是个人表述,不是论文结论;但它点中了要害——机器人缺的不是更强的推理,是更短的回路。

三个限制,都写进了论文和口径

第一,计时只覆盖模型管线。图像预处理、后处理、把坐标翻译成物理控制指令,都不在那 3,552 ms 里。真机节拍要另外加上这几段。

这条限制最容易被忽略,因为 703 ms 听起来已经够快。但 50 Hz 控制回路的单周期预算只有 20 ms(自算:1000/50),703 ms 相当于 35 个周期,它解决的是「规划不再拖后腿」,不是「规划进入反射弧」。

第二,论文自述输出分布不再与原模型一致。这正是它能并行的前提,代价是稠密三维运动预测的部分指标变差。27% 是平均改善,不覆盖每一个子项。

这对需要逐 token 复现的链路是硬伤。缓存比对、回归测试、审计留痕,原来都假设同一输入同一输出;现在这个假设在几何路径上不成立了。

工程上的应对不是回避,而是换指标。原来比「输出是否一致」,现在要比「结构是否合法、几何是否一致」。这是两种验收方式,不能混用。

第三,单机、单 batch 是实验室口径。产线是多路并发,吞吐曲线和单请求延迟不是一回事;batch=1 时的优势,在 batch=8 时未必保留,官方未公布并发下的数据。

另外要看清「最高」两个字。25 倍、12 倍、5.1 倍都是上限值,不是均值。用上限做容量规划,通常会低估所需机器数。

部署建议:先在离线链路验几何一致性

第一步不是上真机,是验几何。并行解码放弃了 token 级一致,就该在离线和仿真链路里逐帧比对:轨迹曲率、端点是否落在可达空间、包围框角点顺序是否稳定。

第二步是版本绑定。草稿模型是贴着某个 VLM 版本训出来的,主干一升级,草稿模型大概率要跟着重训。这是长期维护成本,不是一次性集成成本。

优先级动作依据
P0在仿真里跑几何一致性回归,比对曲率与端点输出分布已不同于原模型
P0记录草稿模型与主干版本号,锁成一对版本错配会静默劣化
P1端到端计时覆盖预处理与控制翻译官方 5.1 倍不含这两段
P1在目标 batch 下复测吞吐,而非只测单请求batch=1 数据不可外推
P1对稠密运动预测单独建精度看板该子项存在变差指标
P2把「几何合法性」写进验收标准结构合法不等于物理可达

先把坐标怎么写从坐标写什么里拆出来,延迟问题才有解——这是 VFlash 真正给出的东西,也是它最容易被误读成「又一个更快的模型」的地方。

参考来源:arXiv:2611.08449、英伟达官方发布、DoNews 与机器之心口径整理。

延伸阅读:

登录后可点赞、收藏与反馈。

继续阅读 NEXT

更多 →