新氧：948 万条 sitemap，只有 4 条能打开
跟完新氧 237 份子图、948 万条 URL：944 万条日记页 302 到登录墙，4 万条群组页 301 回首页，返回 200 的只有 4 条。附 robots 三项自限与 9 条修复清单。
新氧把 9,480,602 条 URL 写进 sitemap 交给搜索引擎。我们逐族跟到落点，发现真正返回 200 的只有 4 条。问题不在图有多大，而在每一族 URL 最终落在哪。
地图：237 份子图，每份顶满 4 万条
/sitemap.xml 返回的不是 urlset，而是 sitemapindex：239 个 <sitemap> 节点，指向 236 份 baidu_postN.xml，外加 item、group、about 三份。
抽样下载三份 post 文件，每份正好 40,000 条 loc、零重复；item 598 条，about 4 条。按此折算合计 9,480,602 条，也就是 237 × 40,000 再加 602。
| 子图族 | 文件数 | 每份条数 | 合计 | 占比 |
|---|---|---|---|---|
| baidu_post1–236 | 236 | 40,000 | 9,440,000 | 99.57% |
| baidu_group | 1 | 40,000 | 40,000 | 0.42% |
| baidu_item | 1 | 598 | 598 | 0.006% |
| baidu_about | 1 | 4 | 4 | 0.00004% |
4 万这个数字不是内容量，是单文件条数上限被顶满。分片方式是按 ID 降序切：post1 覆盖 28,919,563–28,967,806，post100 覆盖 24,033,774–24,083,552，post236 落在 1,399,315–1,456,477。
段内并不连续。post 三份样本的 ID 填充率分别是 82.9%、80.4%、70.0%，空缺对应已删除或未公开的帖子；group 那份最稀，44.3 万个 ID 区间里只放了 4 万条，填充率 9.0%。
四族 URL 里，只有 /intro 那 4 条是 200。其余三族的结局各不相同：两族进登录页，一族回首页。
lastmod 是写死的常量
239 个节点、948 万条 loc，lastmod 全部是 2020-10-30。距 2026-11-13 已经 2,205 天，6.04 年。
格式还越界了：索引里写成 2020-10-30 06:03:34（空格分隔），about 那份写成 2020-10，还多一个前导空格。两种都不符合 W3C Datetime，解析器通常直接忽略这个字段。
组合起来看，这不是「内容没更新」，而是「时间戳是常量」。同类的痕迹在什么值得买那份实测里也出现过：5 万条 lastmod 挤在 11 分钟里。
落点：12 次抽样全部跳登录页
日记页是这张图的主体，9,440,000 条。从 post1 与 post100 各随机取 4 条，再把群组、项目各取 6 条与 4 条，先读状态码再跟一层看落点。
12 条 /p<id> 全部 302，Location 指向 passport.soyoung.com/passport/PCLogin?...&_risk=login。而 robots.txt 第 2 行就是 Disallow: /passport/——交出去的目标地址本身处于封禁范围。
登录墙是路径级的，不区分页面是否存在。/p1、/p123、/p999999999 与图内的真实帖子返回完全相同的 302：存在的、删除的、从未存在的，对爬虫没有区别。
| URL 族 | 抽样 | 实测结果 | 折算条数 |
|---|---|---|---|
/p<id> | 12 | 302 → passport 登录页 | 9,440,000 |
/dpg<id> | 6 | 301 加尾斜杠，再 301 到 http 首页 | 40,000 |
/item/<id> | 4 | 301 到 http，再 302 登录页 | 598 |
/intro/* | 4 | 200，39,089–43,084 B | 4 |
群组页的两跳值得单独说：/dpg10816045 先 301 到 /dpg10816045/，再 301 到 http://www.soyoung.com，协议还降了一级。4 万条 URL 集体指向首页，这是 Google 明确点名的 soft 404 反模式，百度也按同一逻辑折价。
项目页同理：/item/436 301 到 http://www.soyoung.com/itemk/solution/436，再 302 进登录页。协议降级加两跳，598 条全部如此。
蜘蛛 UA 在全站拿到 405
换用百度 PC 蜘蛛、百度移动蜘蛛、Googlebot 三种 UA，访问首页、/intro/about、/apps、/itemk/solution/436、/sitemap.xml 甚至 /robots.txt，全部返回 405，响应体是阿里云 WAF 的拦截页。
这说明爬虫识别放在 CDN 层，靠 UA 与 IP 双因子判定，不依赖 robots.txt。真实蜘蛛有备案 IP，是否被放行我们从外部无法验证——这一点必须说清楚，不能据此断言百度被封。
但能确定的是：/p 的 302 与蜘蛛无关，用浏览器 UA 一样跳；而 robots.txt 里给百度设的 2 小时间隔，是站方主动写下的自我限制。
robots.txt：三个自我限制
473 字节，11 行 Disallow，0 条 Sitemap 指令，0 条 Allow。三处值得单独拎出来。
第一，948 万条地图从未正式提交。 文件里没有一行指向 /sitemap.xml，爬虫只能靠猜或靠外链发现。图在，但没人告诉蜘蛛它在。
第二，给百度设了 2 小时抓取间隔。 User-Agent: Baiduspider 段落下写了 Crawl-delay: 7200，其他 UA 没有这条限制。按每天 12 次计，抓完 9,480,602 条要 2,163 年。
同一份图换个间隔就是另一个量级：60 秒是 1,080 天，1 秒是 110 天。地图条数从来不是瓶颈，抓取配额才是。
这张图用的是对数刻度，否则 110 天那条会被压成一条看不见的线。
第三，整段封了神马。 YisouSpider 与 EasouSpider 都是 Disallow: /，等于放弃移动搜索的主要入口。医美是典型的重移动品类，而爱站显示的移动词数 181 低于 PC 词数 272，方向一致——因果关系不能就此坐实，但两件事对得上。
另外还有 7 条手写的具体 URL 封禁，例如 /p1418816p1p1h0、/p5029567、/u163469，以及 2 条 /hospital/ 模式。逐条往 robots 里加单页，通常是发现问题后救火留下的痕迹，而不是策略。
首页把 65% 的链接指向登录墙
首页 212,686 字节，可见正文 1,790 个汉字，平均 118.8 字节换 1 个字。0 个 H1、0 个 H2、0 个 canonical、0 段 JSON-LD，11 张图 10 张没有 alt。
309 个 href、249 个唯一，其中 200 条指向 /itemk——也就是登录墙，占 64.7%；22 条指向 /search，全部 302 回首页，占 7.1%；写成绝对路径的站内链接只有 11 条，集中在 /intro、/apps、/dp。
/dp 更直接：返回 200、166,589 字节，<title> 与首页完全相同，也没有 canonical，等于一份可被抓取的首页副本。
合格的地方也有：/zzz-not-exist 返回真 404，标题是「新氧 - 出错啦」，没有做成 200 软 404。
移动端是可用的，但标题全站同名
m.soyoung.com/p28958256 先 301 补尾斜杠，再返回 200，73,599 字节。但正文位置写的是「此页面仅支持预览」，标题固定为「新氧,新氧网」。
这一页 0 个 H1、0 个 canonical、20 张图 19 张无 alt。移动首页同样 0 个 H1，25 张图 25 张无 alt。
也就是说，PC 端要登录、移动端只给预览，两头都没有可索引的正文。这与穷游那次的 503 落点、快递100 的 canonical 失效属于同一类问题：不是抓不到，是抓到了没有东西可收。
外部口径能对上：百度收录 185 万条，是地图的 19.51%；PC 词 272 个，移动词 181 个，按收录折算 6,801 条收录对应 1 个有排名关键词；反链 10 条；日均 IP 约 6,000、PV 约 18,000。
修复清单：按影响条数排优先级
下面 9 条按「影响条数 × 改动成本」排序，P0 动的是 948 万条里的 99.99%。
| 档位 | 动作 | 影响面 | 具体做法 |
|---|---|---|---|
| P0 | 撤掉日记页登录墙 | 9,440,000 条 | 未登录访客返回正文 200，或 301 到公开的移动页 |
| P0 | 群组图整族下架 | 40,000 条 | 从索引里删掉 baidu_group，或改为 410 |
| P0 | robots 补 Sitemap | 全站 | 473 字节里加一行指向 /sitemap.xml |
| P1 | Crawl-delay 降到 60 秒 | 全图 | 2,163 年压到 1,080 天；配合 lastmod 做增量调度后可直接删除 |
| P1 | lastmod 改 W3C 格式 | 全图 | 写成 2026-11-13T06:00:00+08:00，并接入真实更新时间 |
| P1 | 地图按更新时间分片 | 全图 | 近 12 个月单独成图，冷数据归档，别占配额 |
| P2 | itemk 项目页开放 | 200 条入口 | 这是医美最强的商业意图词面，不该锁在登录后 |
| P2 | 首页补 H1 与 canonical | 1 页 | 当前 0 H1、0 canonical、0 结构化数据；/dp 需 canonical 指回首页 |
| P2 | 移动页补标题与 alt | 全站 | 标题固定为站点名，等于放弃长尾；19/20 张图无 alt |
顺序上不建议先做内容增量。抓取配额被 2 小时锁死、落点又全是 302 的前提下，新内容进不了索引，写了也是库存。
先修 P0 三件：让 947 万条 URL 有一次被打开的机会，再把 4 万条指向首页的 301 从图里摘掉，最后补上那行 Sitemap。三件事都在一天内能做完。
小结：948 万条 URL 不是资产，是 948 万张欠条。搜索引擎每天只愿意收 12 张，而其中 99.99% 在兑现时跳去了登录页。
登录后可点赞、收藏与反馈。