#索引
39健康网 SEO 实测:robots.txt 是一条 404 页面
实测 39 健康网五个子域的抓取入口:主站 robots.txt 返回 200 但内容是 404 页面,四条站点地图路径全部软 404,首页 514 条内链里 271 条仍写死 http。附按优先级排序的修复清单。
土巴兔 SEO 实测:272 个城市分站,87% 地图是空页
直接抓取 to8to.com 的裸域跳转链、robots 规则与三层 sitemap,抽样 30 条 URL 回访。272 个城市分站共用一套模板,87% 的站点地图指向返回 200 的空页,附 P0 到 P2 的九项修复清单。
宝宝树 SEO 实测:2180 万收录,robots 白名单全废
22 年老站宝宝树,百度收录 2180 万,首页却只剩 413 字框架。实测 7 条 robots 白名单路径全部失效,HTTPS 被 301 降级到 HTTP,内容搬到 m 子域后两个站互不认领。
华律网 SEO 实测:6310 万收录,站点地图只报 1 万条
22 年老站、百度权重 7/7、收录 6310 万条。直接抓取后发现,robots 里声明的站点地图只有 1 万条 URL,分片索引停在 2023 年,移动端 302 跳转且两端都不声明 canonical。本文给出实测证据与按投入产出排序的修复清单。
孔夫子旧书网 SEO 实测:1410 万收录,共用一个标题
24 年老站、百度权重 6、1410 万条收录,但它的书籍详情页在桌面爬虫眼里全部叫「孔夫子旧书网」。实测六种爬虫 UA、robots、sitemap、跳转链与结构化数据,并给出按优先级排序的修复清单。
波奇网 SEO 实测:144 条 http 内链与停摆的 sitemap
对 boqii.com 做一轮公开抓取级技术体检:http 与 https 双 200 且 canonical 指向 http,关键词聚合页 canonical 全部指向首页,98 个 sitemap 文件停在 2016 年。给出按投入产出排序的 12 项修复清单。
AI 搜索时代,技术 SEO 反而更值钱
抓取、渲染、索引三项基础仍然决定 AI 能否读到你的页面。本站 40 篇内容里,最容易出问题的是 canonical 与 JS 渲染,而不是文案。