个人学习小站 SIGNAL DESK 2026
LIVE --:--:-- 反馈
资讯 人工智能 开发者「戴·菲瑜」中国象棋 PPO 复现复盘(博客园 2026-11-21);arXiv:2410.04865;Pikafish 源码

PPO 象棋模型接 MCTS 反而掉 54 ELO:32000 节点里 99.4% 挤在第一步

复现腾讯无搜索象棋 AI 的开发者发现:PPO 把无搜索胜率从 .420 抬到 .576,接上 MCTS 却掉到 .4656。本文拆 αβ、MCTS、BFMS 三种接口错配,给 top1N 自检脚本、c_puct 换算和 10 条急救。

2026年11月22日 2 小时前 作者 站长 约 12 分钟 9 阅读

你搜「PPO 棋类 AI 加搜索」,前十条结果都在讲 AlphaZero:策略头学的是 MCTS 访问分布,天生全宽度,接上搜索当然涨棋。可你手里这个模型是 PPO 微调出来的——照抄这套,胜率会往下走。

不是玄学。开发者戴·菲瑜在博客园复现腾讯光子 2024 年那篇《Mastering Chinese Chess AI (Xiangqi) Without Search》(arXiv:2410.04865)时,用同一批开局、同样 4000 visits 测了一遍:无搜索胜率从 .420 抬到 .576 的 PPO 模型,接上 MCTS 后从 .5437 掉到 .4656,折合 −54 ELO(±34,1.6σ)。

他后来把 αβ、MCTS、BFMS 三种搜索全接了一遍,三种都没成。原因不是工程量,是一句话:PPO 优化的是「最优解」,搜索要的是「全宽度排序」。下面把这句话拆成能自己量的数、能自己拧的旋钮。硬件是一张 RTX 4090,模型 11M 参数 ViT,棋谱 14.3 万局,所有对局都是同开局、等节点。

先看那一格反常识的数据:RL 让无搜索变强,却让有搜索变弱

先把两个模型摆清楚。A1 是监督学习(SL)出来的起点,架构对齐无搜索论文;W2 是在 A1 上继续 PPO 训出来的。两者接的搜索完全一样:master80 的 80 个开局,红黑各一,每格 160 局,4000 visits,batch 32。

模型无搜索(对皮卡鱼 d1)+ MCTS 4000 visits变化
SL 起点 A1.420.5437搜索有用,+87 ELO(按得分换算)
PPO 版 W2.576.4656搜索有害,−54 ELO

只看无搜索那一列,PPO 干得很漂亮:.420 → .576,开发者本人(业9-1)跟无搜索版对弈基本持平,单次决策从业7 提到业9-1。

但把搜索接上,同一个 W2 掉到 .4656,比没训过的 A1 还低。注意这不是「涨得少」,是方向反了:训练把无搜索的分抬了 15.6 个百分点,同时把有搜索的分压了 7.8 个百分点。

原文的总结只有一句:「RL 让『无搜索』变强了,却让『有搜索』变弱了。」

同一批开局、同样 4000 visits 下,SL 模型加 MCTS 涨分而 PPO 模型掉分的四格对照

主流教程默认的是 AlphaZero 路线,和 PPO 差在哪

差别不在训练框架,在策略头被要求学什么。把两张表叠在一起看就清楚了:

维度AlphaZero 路线(主流教程)PPO 微调(你手上这种)
策略头标签MCTS 访问分布,软标签交叉熵硬标签 + 优势加权
分布形状多峰,兄弟着法都留概率尖峰,top-1 高、二名以后塌陷
给 αβ 的排序先验大致可用2 名以后概率质量不够,剪枝排序失效
给 MCTS 的 U 项拉得动兄弟节点拉不动,树退化成一条腿
加搜索预算稳定涨棋不涨,甚至掉 ELO

为什么 PPO 模型接 αβ 会被封死(三层不可调和)

αβ 剪枝在数学上严格等价于全宽度 minimax,它不是「近似」minimax,它就是 minimax。完美排序能把有效分支因子从 b 降到 √b:象棋 b≈40,等于把 40 变成 6.3,深度翻倍。而现代引擎那些不保险的剪枝——LMR、futility、razoring、ProbCut——全都建立在「排序大致正确」上。

排序从哪来?看皮卡鱼 movepick.cpp,吃子和安静着法两套:

// 皮卡鱼 src/movepick.cpp(Stockfish 同源)
// 吃子:被吃子价值 + 吃子 history
m.value = (*captureHistory)[pc][to][type_of(capturedPiece)]
        + 7 * PieceValue[capturedPiece];

// 安静着法:main history 与 pawn history 各算两倍,再叠 continuation history
int value = 2 * (*mainHist)[m.raw()];
value += 2 * (*pawnHist)[pc][to];
value += (*ch0)[pc][to];
value += (*ch1)[pc][to];

这些 history 表不是网络权重,是搜索过程中「哪些着法曾经导致截断」的统计。也就是说,αβ 的排序能力来自搜索自己,不来自你的策略头。

策略头想插进去,只有三条路,全被堵住:

层面αβ 的要求11M ViT + PPO 的现状
速度NNUE 约 1.5 μs/节点,4000 节点 6 msbatch=1 时 3.58 ms/次,差 2~3 个数量级
更新方式增量:走一步只改一两个格子self-attention 必须全量重算
并行严格串行深度优先靠 batch 摊薄,串行场景用不上

原文的说法很直接:「αβ 的算法结构与 GPU 的硬件特性相反。」

唯一有意义的接口,是把策略头当排序先验。那就得看这个先验到底有没有「全宽度」的信息。开发者用 150 个中局局面、皮卡鱼 d14 MultiPV=5 当真值,量了两件事:

指标(150 个中局局面)SL 模型 A1PPO 模型 W2
top-1 命中率.598.668
top-2 概率质量.163.183
第 4 名以后概率质量.163.076
top2 / top1 中位比—.298

RL 把 top-1 命中率从 .598 提到 .668,听起来是进步。但「第 4 名以后概率质量」从 .163 砍到 .076,砍掉一半多。典型形态是「一条粗腿 + 一条细腿」。

棋盘上真实「近优着法」(±20 厘兵以内)平均 2.93 个,而模型策略分布的 exp(H) 是 4.70。翻译一下:通常有 3 个着法都值得考虑,模型只对其中 1 个有像样概率。 而 αβ 要的是把 40 个着法粗排出前 6 个,你只给得出第 1 个。

接 MCTS 前先量一个数:根节点集中度 top1N

MCTS 的入口是 PUCT:

PUCT(a) = Q(a) + c_puct × P(a) × sqrt(N_parent) / (1 + N(a))

U 项靠 P(a) 拉动兄弟节点。如果 P 全压在第一位,U 就拉不动,搜索预算会一层层喂给同一条路径——树看起来很大,实际只在一条腿上长。

这个现象可以直接量。定义两个数:top1N 是根节点第一着法子树的访问数占根总访问数的比例;expHN 是 exp(访问分布熵),也就是「有效着法数」。

配置top1NexpHN(有效着法数)判读
SL + MCTS 4000 visits.586—正常,树有宽度
SL + MCTS 44000 visits.709—预算涨 11 倍,树变窄但没病态
PPO(W2) + MCTS 32000 visits.9941.06独腿

SL 模型从 4k 加到 44k(11 倍预算),top1N 从 .586 涨到 .709——「把树变窄」是正常现象,值越准越该窄。RL 模型 32000 个节点里 99.4% 挤在根第一着法上,有效着法数 1.06。窄到 1.06 不是变准,是病态。

PPO 模型的搜索树示意:32000 个节点中 99.4% 落在根第一着法上,有效着法数只剩 1.06

给你一段能直接跑的体检脚本。把每步根节点的子节点访问数导出成 JSONL,一行一个局面:

# root_stats.py —— 算根节点集中度与有效着法数
import json, math, sys

def stats(visits):
    n = sum(visits)
    if not n:
        return None
    p = [v / n for v in visits if v]
    h = -sum(x * math.log(x) for x in p)
    return max(p), math.exp(h)          # top1N, expHN

rows = [json.loads(l) for l in open(sys.argv[1], encoding="utf-8")]
vals = [s for s in (stats(r["visits"]) for r in rows) if s]
mid = len(vals) // 2
print("局面", len(vals))
print("top1N 中位 %.3f" % sorted(v[0] for v in vals)[mid])
print("expHN 中位 %.2f" % sorted(v[1] for v in vals)[mid])

判读按上面两组分布来:top1N 在 .5~.7、expHN 和真实近优着法数(这个项目里是 2.93)在同一量级,说明先验还有宽度,加预算有意义;top1N 超过 .95 或 expHN 掉到 1.2 以下,先别加 visits,先压先验,否则多出来的预算只是在同一条腿上重复计算。

三个「压平先验」的旋钮,只有搜索侧温度真的有用

发现独腿之后,直觉是「把 top-1 压下去」。开发者试了三个旋钮,作用位置各不相同:

旋钮作用位置做法实测
削峰 --maxp-cap .70训练只罚 top-1 超过 cap 的部分expHP 2.85→3.32,h2h −18 ELO
熵地板 --ent-floor 1.25训练罚整批平均熵低于 1.25一直罚 −.24,熵停在 1.01
自适应温度 --temp-target-ent搜索 / 推理解 T 让归一化熵达标W2 +89 ELO,A1 −1

削峰最像正确答案,也最没用。它的损失是 pen = coef × clamp(maxP − cap).mean(),只罚超过 cap 的那部分——把 top-1 从 .99 压到 .70,多出来的 .29「给谁都算通过」。剂量加倍(cap .70→.60,coef .25→.50)结果一样:一条粗腿变成一条粗腿加一条细腿,三选以后的排序一个字节没动。

熵地板更反直觉。目标 1.25,训练时一直罚 −.24,熵仍停在 1.01(A1 是 1.51)——它只惩罚「整批平均熵」,模型可以靠个别局面把均值拉起来,剩下的继续尖。

真正有效的是搜索侧的自适应温度:解一个 T,让归一化熵 H/ln n 达到目标。.40→.70 之后,W2 从 .3406 回到 .4625(+89 ELO),A1 从 .5437 到 .5406(−1)。属性是「救弱不增强」:最多追平 SL 的默认口径,不可能靠它超越 SL。

还有一个更省事的验证:直接把 SL 和 RL 的策略按 P_mix=(1−a)P_SL+aP_RL 混起来接 MCTS,每臂 120 局。

RL 权重 a得分说明
0(纯 SL).5333最好
0.25.5083开始掉
0.50.4042明显掉
1.0(纯 RL).3875最差

纯 SL 最好,混得越多越差。RL 学到的「更准的 top-1」,在搜索里被「更烂的排序」抵消掉了。

c_puct 不是常数:Q 的尺度变了,探索系数要跟着改

这里有个特别容易漏的坑。PUCT 里 Q 和 U 是相加的,Q 的方差一变,同一个 c_puct 的实际含义就变了。

W2 的 Q 只有 A1 的 69% 宽(std .337 对 .485)。默认 c_puct=2.0 作用在 W2 身上,等效于 2.0×(0.485/0.337)≈2.88,探索过头。按 Q 的 std 把 c_puct 调到 1.4,W2 从 .3406 回到 .4656(+91 ELO)——策略一位没改,只是探索系数配错了。

c_eff = c_cfg * (sigma_ref / sigma_q)   # 2.0 × (0.485 / 0.337) ≈ 2.88

换模型、换训练阶段、换价值头,都要重算这个比值。把它当常数抄,是最常见的「调参调不动」。

batch 与 ELO:4000 visits 下 b8 比 b32 高约 80 ELO

这条对工程实现最直接。同样 4000 节点、同样 A1,只改 batch:

batch8163264
对皮卡鱼 4000 节点得分.6219.5719.5094.4469

每翻一倍 batch,掉约 41 ELO。原因是宽批里混进了更多「其他分支」的位置,同一波里真正推进主变的次数变少。

不过这是等节点口径。换成等墙钟:b8@4000 打 b64@8400,20 局是 .5000,而后者还少花 34% 墙钟。所以结论是「等节点必须用小 batch,等时间下宽批不吃亏」——等节点只是评测方便,不是实战口径。开发者后来把默认公式改成 batch ≈ visits/500,4000 visits 就是 8。

顺带说清一件事:LC0 的 virtual loss 后来改成 unscored virtual visit(只加 N、不动 Q),KataGo 用 MCGS 把树当 DAG,它们的目的都是避免同一批撞到同一个节点,不是为了「让宽批变强」。LC0 文档里写得明白,batch gathering 是扩到多 GPU 的主要瓶颈,上限约 1200。

BFMS 看着最兼容,四个坑先踩为敬

BFMS(Best-First Minimax Search)的思路很朴素:根的值等于某个叶子节点的静态值,而主变叶子就是那个叶子,所以优先展开主变。它不依赖全宽度排序,只看「当前主变值不值得再往下看」——如果 PPO 只把 top-1 做准了,BFMS 理论上该比 αβ 和 PUCT 更兼容。

这是开发者 11 月做这一系列实验的动机。结果:

口径BFMS + SLBFMS + RLMCTS + SLMCTS + RL
4000 节点 / b128.212.113.500.438
32000 节点 / b256.100.000.1333.100

4000 节点下 BFMS + SL 是 .212,MCTS + SL 是 .500,差约 200 ELO;64000 visits 自对弈 8 局,BFMS 0 胜 1 和 7 负。方向对了,但差距不是一个量级。

这一路踩到的四个坑,都是代码级的:

坑一:置换表合并后,主变链会成环

DAG 合并之后 bestKid 可能指回链上已有节点,主变列表无限增长。必须对主变链和临时链都做去重:

seen, pv, node = set(), [], root
while node is not None and node not in seen:
    seen.add(node); pv.append(node); node = node.best_kid

坑二:某一层着法不够时,break 会漏节点

第二阶段按(层,孩子序号)回退,某层招法数不足应当 continue 而不是 break。写错会漏掉浅层那些招法多的节点——现象是「搜索深度上去了,质量反而下降」。

坑三:收集阶段重复编码,慢 60 倍

收集时不要调 encodeFeaturesAndMask,它内含两次 legalFor 和 19 KB memset。只存按策略概率排好的序号 ord[],实测这一步省 60 倍时间。

坑四:根上的真值差,落在单次评估噪声里

BFMS 全靠评估函数做 min/max。而这个项目根上 30 多个着法,真实值差只有 .01~.05,完全落在单次评估的噪声里。原文的判断很克制:BFMS 的上限由评估函数决定,不由搜索本身决定;评估准,它能赢 αβ,评估差,它比经典 minimax 更差。

常见翻车报错与急救清单

现象根因处理
接上 MCTS 后胜率反而下降PPO 先验过尖,Q 尺度也变了先量 top1N,再按 σ 比换算 c_puct
32000 节点 99% 挤在第一着法策略分布单峰搜索侧温度 .40→.70,或直接换 SL 策略
削峰训练后 expHP 涨了、棋力掉了只压 top-1,2 名以后没动停掉 maxp-cap,改排序监督
熵地板一直罚、熵不动只罚批次平均熵改推理侧自适应温度
c_puct 调大调小都没用Q 方差变了,等效系数已偏按 c×σ_ref/σ_q 重算
非法着法掩码出 −inffp16 下 −1e9 溢出掩码在 fp32 上做,再转回半精度
BFMS 主变列表无限增长置换表合并成环主变链去重
BFMS 深度上去了质量下降某层着法不足用了 break改成 continue
BFMS 收集阶段慢到不可用反复调 encodeFeaturesAndMask预算 ord[],省 60 倍
top-1 准确率涨了、棋力降了指标只看一选看 top2/top1、近优覆盖率、Kendall τ

什么时候该走 PPO,什么时候别碰搜索

三类人对号入座:

  • 做单机对弈、要求实时出招:PPO 无搜索是合适的。11M 参数、3.58 ms 一次前向,普通显卡甚至 CPU 都能跑,不需要搜索。
  • 想冲顶级棋力:劝退。顶级引擎只有两条路——αβ + NNUE,或 AlphaZero 式全宽度策略 + MCTS。前者代表是皮卡鱼,权重 50MB 左右、1.5 μs/节点;后者要求策略头从第一天就学搜索访问分布。
  • 已经把 PPO 模型训好了、想抢救:先量 top1N 与 expHN。低于阈值再谈调参;压先验只能追平 SL,追不过。

如果要从头做,原文给了四条比「继续调 PPO」更靠谱的方向:蒸馏 MCTS 的访问分布(天生全宽度)、列表式损失(Plackett-Luce,把 top-k 当整体优化)、用强引擎 MultiPV 构造排序软标签、别只盯 top-1 准确率(他们有过准确率涨 1.56 个百分点、棋力反而下降的实例)。

边界也说清楚:这是一位开发者的单项目复现,中国象棋、11M ViT、单张 4090、14.3 万局棋谱;ELO 差带 ±34(1.6σ),BFMS 的 10 局对比落在噪声内,只能当方向性证据。腾讯论文本身也没公开 VECT 的截断长度 L、DOP 的温度和阈值——作者是自己扫了 L=10 与 20 才定的 10。所以「照抄论文就能复现」这件事,从一开始就不成立。

同类的「指标好看但能力没涨」还有一例:6471 个测试全绿也不能直接合并,盲区都在指标之外。评测口径本身怎么定,可以对照 关掉思考省 4.5 倍 Token 的那组数看。

最后留个问题给做棋类 AI 的人:你量过自己模型的 top1N 吗?如果 32000 个节点里 99% 都在第一步,你加的每一分预算,其实都在给同一个着法做重复计算。

登录后可点赞、收藏与反馈。

继续阅读 NEXT

更多 →