抓取 117 万次只收录 4 条：不是配额问题，是页面没有独立价值

一个大型商品聚合站，Search Console 里躺着 18 万条 URL，几周内被 Googlebot 抓取约 117 万次，最终收录 4 条，首页也不在其中。抓取量救不了收录，这件事得从「页面凭什么存在」说起。

1,170,000 比 4

比例是 292,500 比 1（自算：1,170,000 ÷ 4）。每收录一条，Google 白跑了将近三十万次。

分母也摆出来：站点约 18 万条 URL，收录 4 条，收录率 0.0022%（自算：4 ÷ 180,000）。首页不在收录列表里——这一条比数字本身更严重，首页通常是一个站点最容易被索引的页面。

把 117 万次摊到 18 万条 URL，平均每条被访问 6.5 次（自算：1,170,000 ÷ 180,000）。这个频次不算低，说明 Google 不是没看见，是看见了之后没有留下。

案例由 John Mueller 在 10 月 6 日回应。提问者贴了两张图：抓取统计是一条几乎垂直的尖峰，页面索引报告只有四条。Mueller 把站点归类为「大型商品聚合站」，没有点名。

两个边界要先说清。Mueller 没有认定这是人工处罚，公开信息里也没有证据表明存在手动操作；4 条收录是 Search Console 的展示值，计数本身有延迟，不等于索引全量。

真正该问的不是「为什么只收录 4 条」，是「既然 4 条都收录不了，为什么还要抓 117 万次」。答案在流水线里：抓取、渲染、索引、排序是四道独立关口，抓取只说明 Google 有能力访问，不说明它有意图收录。

抓取、200、收录是三件事

这三件事经常被混着用。抓取是 Googlebot 把 HTML 拿回去；200 是服务器说「我这儿有东西」；收录是 Google 决定把这个 URL 放进可检索语料库。前两个由站方给，第三个由 Google 判。

抓取曲线上升，读不出「索引信任度上升」。Googlebot 反复抓同一个 URL 的动机很多：确认上次判断、发现新链接、检测内容变化。这些动作全都发生在「不收录」的前提下。

时间尺度可以参考 Gary Illyes 在 Search Central Live 巴塞罗那场（10 月 2 日）给出的范围，属转述口径、不是官方文档：新 URL 发现通常约 20 小时；开始处理后的索引约 1.5 小时；站点迁移 1 到 3 个月，慢的 6 个月到 1 年以上；手动操作移除 1 到 2 周，慢的 4 到 6 周以上。

这组数的用法是排除法。提交几周还在「已发现，尚未编入索引」，问题在发现与抓取；状态是「已抓取，尚未编入索引」，问题在质量判断，不在配额。两种情况的动作完全相反，先分清再动手。

「抓取预算」这个词也容易被误读成配额。它不是可申请的额度，而是 Google 按站点承载能力和抓取需求动态给出的上限：服务器响应慢，上限压低；URL 数量暴涨，需求抬高。两边一挤，低价值 URL 先吃掉名额。

技术债：URL 都 301 到首页，等于自认没有独立页

Mueller 指出的第一个问题很具体：站点里一批已索引的 URL 全都重定向到首页。

这个模式在大型站点上很常见。筛选参数、下架商品、错误路由规则混在一起，运维图省事，统一 301 到首页。站方视角是「保住权重」，Google 视角是「这个 URL 没有独立内容」。

它本质上是 soft 404 的变体：返回 301 而不是 404，传达的信息一样——目标页面不存在。首页因此承接了几万个「我没有这个页面」的信号，自己反而被拖下水。

这也解释了首页为什么没被收录。当一个站点的绝大多数内链最终都汇到首页，首页在结构上就变成了错误页的容器。

正确做法是就近重定向：下架商品指向同类目，失效筛选指向父分类，确实没有对应内容的直接给 404 或 410。宁可少一个 301，不要多一个指向首页的 301。

还有一种变体是链式重定向：A 跳到 B，B 跳到首页。日志里只能看到一跳，链条要跟两跳才能发现。大型站点上这种链条往往几十条并存，靠人工点不出来，只能写脚本跑。

内容债：程序化页面没有独立结论

第二个问题更麻烦。Mueller 说这类站点有海量 URL、内容由程序自动生成，「说服搜索引擎这有价值、说服用户这有价值，都会很难」。

这段话不是在宣布新规则。Google 对规模化内容滥用（scaled content abuse）的收紧是持续的，2026 年 9 月 24 日到 10 月 8 日刚跑完一轮垃圾更新，13 天 16 小时，是 2026 年四次垃圾更新里最长的一次（据 Search Status Dashboard 与 Search Engine Roundtable 记录）。

但把个案直接挂到某次更新上是错的。Mueller 没有提任何算法更新，他回应的是一家站点的具体问题。这种归因是 SEO 圈最常见的偷懒。

两件事要分开看。技术债是可枚举的：重定向、状态码、canonical、内链，一条条修得完，修完能验证。内容债是相对的：同样的页面，取决于同一 query 下别人给了什么。前者能关账，后者只能对比。

程序化页面的困境是经济学问题。接上模板和数据源，多生成一万页几乎不要钱；对 Google 来说，每个 URL 都要占抓取、索引、检索、排序的资源。成本在站方趋近于零，在 Google 侧不趋近于零，筛选必然发生。

一个聚合站复述厂商、商家、大平台已发布的信息，本身没有增量。它的价值必须来自「加了什么」：比价、归一化、历史数据、库存状态、筛选能力、原创测试。加不出来的，就是模板换了个参数。

难处还在替代性。用户搜一个型号，源站本来就有那一页，聚合站只是把它重排了一遍。同样的信息，排序会优先给原始出处；聚合站想赢，得拿出源站没有的东西，而不是更快的加载。

诊断表：四种症状对应两种债

这张表要从上往下排除，不要跳步。第一行看抓取结构，第二行看需求匹配，第三行看技术债，第四行看内容债。前两行问「能不能」，后两行问「值不值」。

一个限制要提前知道：GSC 的抓取统计只给趋势和响应码分布，不给具体 URL 清单。想知道 Googlebot 到底抓了哪些地址，只能查服务器日志，这一点没有替代方案。

抽样要分层。按 URL 模式分组——商品页、类目页、筛选页、标签页、分页——每组抽 10 条，而不是从 sitemap 里随机抓 50 条。随机抽样会漏掉占比小、绝对量却很大的模式。

三条门槛，和站内两个对照

程序化页面要不要进索引，我建议用三条门槛卡，缺一条就不该进。

一、每页有独占数据。数据只在这一个 URL 上成立，比如某个 SKU 的实时库存、某条线路当前票价。换个参数就换一套数。

二、每页有独占结论。不只是数据不同，判断也不同。「这款便宜 12%，但保修短一年」是结论；「参数如下」不是。

三、每页能被单独引用。有人愿意链接这一页，或者 AI 摘要愿意摘这一页的句子。做不到，说明它只是列表的一个切片。

三条门槛的执行成本不一样。第一条靠数据接入，第二条靠编辑规则，第三条最难，要靠外链和引用自然长出来。现实顺序是：先保证第一条，能过第二条的才放进来，第三条用来验证前两条有没有做对。

站内有两个现成对照。新氧的 sitemap 里躺着 948 万条 URL，实际只有 4 条能正常打开（新氧：948 万条 sitemap，只有 4 条能打开）；什么值得买提交 5 万条 URL，lastmod 全挤在 11 分钟里（什么值得买 SEO 实测：5 万条 lastmod 挤在 11 分钟里）。

这两个案例和 117 万次抓取指向同一件事：sitemap 条数、抓取次数、提交频率都不是瓶颈，瓶颈在落点——每条 URL 打开后，是不是一个值得单独存在的页面。

快递100 是反向对照：119 个国际页，七成 canonical 失效（快递100 SEO 实测：119 个国际页，七成 canonical 失效）。URL 数量不多，技术债一样能把收录按住。

动作清单：先看落点，再谈扩量

这份清单的顺序不能倒。先修 301 还是先做 noindex，取决于抽样结果：如果 URL 已经 301 到首页，先修路由，因为 noindex 加在被 301 的页面上没有意义。

验收口径也要先定下来。修完 301，看「已抓取未编入索引」的占比有没有降、首页有没有回到索引；做完 noindex，看索引总量降、有效页曝光升。两个指标的走向相反，混在一起看会得出错误结论。

最后一句判断：Googlebot 抓 117 万次不是承诺，是把账单先垫上；收录 4 条不是惩罚，是它算完账之后的选择。扩量之前，先证明每条 URL 都值得单独存在。

参考来源：Search Engine Roundtable 对 John Mueller 表态的记录、Google Search Central 文档、Gary Illyes 分享转述。

延伸阅读：

• 新氧：948 万条 sitemap，只有 4 条能打开
• 什么值得买 SEO 实测：5 万条 lastmod 挤在 11 分钟里
• 快递100 SEO 实测：119 个国际页，七成 canonical 失效