先给结论:旧地址没有完全等价目标时,优先判断它是否还能承担“入口”作用。能承担,就用可抓取的中间页承接并说明去向;不能承担,就直接返回 404 或 410,而不是把用户和爬虫硬送到一个内容不匹配的新页。判断依据不是“有没有替代 URL”,而是旧地址的搜索意图、外链结构和用户到达后的下一步是否与目标页一致。
假设一个站点把产品分类页从 /old-category/ 迁到 /new-category/,但新分类只保留了原分类中销量较高的一部分商品,其余商品被拆到两个新分类。此时 /old-category/ 与新页不是完全等价:主题相近,覆盖范围不同。团队里常见三种理解:运营认为“都是分类页,可以 301”;开发认为“内容不一致,不能 301”;SEO 认为“先看旧页还有没有搜索需求”。这三种理解都可以转成可核对的项目:旧页的搜索意图是什么、新页覆盖了哪些子主题、旧页外链指向的是整页还是某个锚文本、用户到达新页后能否继续完成原来的任务。
把选择压缩成三个动作,每个动作都有成立条件:
这里要区分一个常见误区:用 robots.txt 限制抓取旧地址,不等于可靠的索引移除。爬虫被限制抓取后,仍可能因为外链或历史信号保留旧地址的索引状态;而抓取限制也无法告诉用户“内容去了哪里”。若目标是让旧地址退出索引,应优先让服务器返回明确的 404/410,或让可抓取的中间页说明迁移关系,而不是只靠 robots.txt 挡住。
回到假设情境。团队可以按下面顺序核对,而不是先争论“该不该 301”:
一个实际动作是:先为旧地址保留一个可抓取的中间页,列出最接近的 2–3 个新入口,同时在新页上补齐被拆分出去的子主题链接。运行一段时间后,观察旧地址的抓取请求是否转向中间页、用户是否继续点击新入口。若中间页的点击去向集中在某一个新页,且该新页已能覆盖旧页核心意图,再把中间页改为 301;若点击分散或用户返回率高,说明没有等价目标,应保留中间页或改为 404。
站点地图不保证收录,它只是提交候选 URL 的方式之一;把新地址放进站点地图,不能证明旧地址已经完成迁移。HTTPS 也不保证安全无漏洞或排名提升,它不解决旧地址与新地址是否等价的问题。不同搜索引擎对 404、410、301 和中间页的支持与处理节奏需要分别核查,百度语境下应以百度抓取和索引的实际反馈为准,而不是套用其他引擎的经验。
如果团队对同一事实有不同理解,把分歧写成可核对的项目:旧页意图、新页覆盖范围、外链锚文本、用户下一步、新页索引状态。每项都给出“是/否/不确定”,再按上面的条件选择处理方式。这样做的结果是,后续无论选择 301、中间页还是 404,都能说清依据,也方便在下一轮核对时判断是否需要调整。