个人学习小站 SIGNAL DESK 2026
LIVE --:--:--
资讯 人工智能 HF harness-hub 模型卡口径,掘金/MarkTechPost 系多源交叉核对

27B 本地模型写代码:不开思考,一个 LoRA 省 4.5 倍 Token 还不丢分

Hugging Face 开源 Qwen3.8-27B-pi-adapted 适配器:关掉思考模式把 SWE-bench Pro hard-51 从 39.2% 拉到 64.7%,追平基座最高推理档,Token 消耗约降 4.5 倍。本文给出三条接入路径、四个官方边界和适用判断。

2026年11月19日 19 分钟前 作者 站长 约 5 分钟 2 阅读

11 月 18 日,Hugging Face 的 harness-hub 团队开源了 harness-hub/Qwen3.8-27B-pi-adapted(Apache-2.0,rank-32 LoRA 适配器)。在关掉思考模式的前提下,它把 Qwen3.8-27B 在 SWE-bench Pro hard-51 子集上的 pass@1 从 39.2% 拉到 64.7%——追平了基座模型开最高推理档(xhigh)的分数,而每个任务的 Token 消耗平均只有原来的约 1/4.5。

对在本地用 vLLM 或 llama.cpp 跑编程代理的中小团队来说,这是把「等半天、烧显存」的思考成本砍掉的一条现实路径。不过所有数字都是官方自报口径,评测集也偏小,先看完账再决定要不要跟。

封面:Qwen3.8-27B 加 pi 适配器后关思考模式的成绩与 Token 节省

先看账:思考 Token 是本地编程代理最大的隐性开销

跑过本地编程代理的人都有体感:开高强度深度思考,模型每次动手前先吐几千个思考 Token。在本地显卡上,这些内部独白既是等待时间,也挤占上下文窗口;关掉思考直接出动作,模型又容易在复杂仓库里写偏。

Hugging Face 的做法是把这笔运行时开销提前转成离线训练:用 AsyncGRPO(TRL 实现)把模型放进 pi 编程代理的真实命令行环境里做强化学习,训练时思考模式直接关闭。模型没法靠长篇自言自语试探下一步,只能把工具调用习惯、读文件顺序和修 Bug 的决策直觉压进 LoRA 权重。

柱状图:关思考模式下基座与加适配器在两个基准上的成绩对比

数字与口径

项目基座加适配器口径说明
SWE-bench Pro hard-51 pass@139.2%64.7%关思考,pi 环境内;基座开最高推理档为 64.7%
Terminal-Bench 2.1 通过率39.5%55.8%86 题,关思考
每任务 Token 消耗1×约 1/4.5省掉大段内部独白
中位执行回合数5923两模型均解出的任务上统计

看这张表要注意三件事:第一,加适配器并没有超过基座开思考的上限,它的价值是用约 1/4.5 的 Token 打平最高推理档;第二,评测集只有 51 题和 86 题,单次采样下成对差异的 95% 置信区间宽达正负 10 个百分点,实际项目里的体感波动会比榜单数字明显;第三,中位回合数从 59 降到 23 意味着单任务等待时间同步缩短,这对交互式开发比 Token 省钱更直接。

训练怎么做的:把 Agent 环境训进权重

模型卡披露的训练配置可以概括为「在真实环境里学,不许作弊」:

  • 任务与回合:750 个 scale800 任务穿插 300 个 TermGrade 任务,每任务 8 个 rollout,温度 0.8;每个 rollout 预算上限 50 步、1800 秒。
  • 奖励设计:以验证器判定正确性为主,叠加权重 0.1 的工具效率分——做得对还要做得省。
  • 反作弊:每次工具调用经过 safeagents 规则代理,拦住诸如去 Hub 拉取基准答案的调用,被拦截的 rollout 记 0 分,让 RL 学着绕开 reward hacking。
  • 规模:2 张 B200 训练,取 step 160 作为发布权重,整个 run 在计划 1000 步中的第 191 步停止。
  • 适配器规格:rank 32、alpha 64,挂载在 q、k、v、o、gate、up、down 投影上,只适用于 Qwen3.8-27B(64 层 dense hybrid,原生 262144 上下文)。

思路上的变化比数字更值得留意:过去默认一套权重通用,为了同时兜住聊天、写作和各种 Agent 框架,模型只能靠超长推理链临场发挥。这套方案换成了单框架特化(harness-specific adapter)——你每天 80% 时间用哪个 Agent 框架,就为它配一个轻量适配器,把框架的状态机和工具格式直接背进权重。

三条接入路径

三条接入路径对比:vLLM+LoRA、llama.cpp+GGUF、Merged BF16 整包

具体命令与参数以官方模型卡为准,三条路径的差异和取舍如下:

  1. vLLM + LoRA 适配器:启动时开启 LoRA 支持,把适配器挂到基座上,基座权重不动。64.7% 的官方分数就是在这个路径的 BF16 精度下测出来的,想要官方口径的分数先走这里。
  2. llama.cpp + GGUF 适配器:官方同步放出 GGUF 版适配器仓库,Q8_0 基座加 GGUF adapter,面向消费级显卡。门槛最低,但 GGUF 版本尚未做完整复测,低比特量化后准确率可能折损。
  3. Merged BF16 整包:合并后的完整权重约 54 GB,当普通模型直接加载,不需要 LoRA 支持。部署最省事,但显存要求最高。

无论走哪条,前置条件都一样:你的编程代理得是 pi(MIT 协议的 Agent 工具箱,自带 coding agent CLI)。适配器强绑定 pi 的提示词结构和工具调用约定,这不是通用微调。

四个官方边界,上生产前先看

  • 框架过拟合:增益不迁移。套进 OpenCode、Cursor 或普通多轮对话界面,64.7% 不会自动带过去,甚至可能表现反常;换框架要单独训练对应的适配器。
  • 思考模式被固化关掉:官方实测加载这个 LoRA 后强行打开 thinking 不会带来准确率提升,只会多生成约 4 倍 Token,纯属白烧。
  • 评测样本小且自报:51 题和 86 题的子集,95% 置信区间正负 10 个百分点;另外 checkpoint 的选择部分用了基准数据,选型时别把榜单数字当承诺。
  • 量化版本未复测:高分在未量化 BF16 下测得,消费级显卡上跑 GGUF 低比特版本,预期要打折扣,折扣多少官方没给数。

该不该跟:三步判断

  1. 先看你的 Agent 框架:日常用 pi 的直接接;用别的框架的等对应适配器或自己训,硬套基座加 LoRA 大概率白忙。
  2. 再看显存:27B BF16 整包 54 GB 起步,多卡或高端卡才装得下;消费级单卡走 GGUF 路径,接受未复测的折损。
  3. 最后对准痛点:如果你烦的是等思考、烧 Token,这条路线对症;如果痛点是准确率本身不够,开着思考的基座仍然是最稳的选择。

结论与边界:这次发布对中小团队的意义不在「27B 变多强」,而在验证了一条降本路线——把运行时的推理开销转移到离线 RL 训练的适配器权重里。基座、适配器、Agent 框架三者绑定的约束也摆在那里:框架一换,一切归零。LoRA 本身的基础概念可以看《AI 绘画 LoRA 是什么:一个模型解决一种画风》,不写代码的微调门槛参考《Unsloth Desktop 来了:不写代码微调,显存门槛在哪》。

登录后可点赞、收藏与反馈。

继续阅读 NEXT

更多 →