当旧地址没有完全等价的新目标,最稳的做法不是一律重定向到首页,而是按“旧页承担的职责”分三类处理:职责能被新页完整承接的做单页301;只能部分承接的改写后重定向到最接近的上级栏目;已无对应内容的返回410并清理内链。判断依据是旧页的搜索意图、外链锚文本和站内引用是否仍指向一个真实存在、能满足同一意图的页面,而不是新旧URL是否长得像。
迁移后收录异常,常见原因不是重定向没做,而是做错了目标。先给每个旧地址打一个标签,判断它属于哪种情况:
可操作动作:导出旧URL清单,为每条记录填写“旧页核心意图”“是否存在同意图新页”“承接完整度(完整/部分/无)”。这份表决定了后面每一步,而不是凭感觉批量301。
301到等价新页是首选,但前提是目标页真的能满足旧页的搜索意图。如果旧页有大量外链,锚文本指向的是“具体功能说明”,而新目标只是产品首页,链接权重虽然传递了,用户预期却落空,跳出和二次搜索会抵消收益。
成立条件:
动作与结果:对确认完整承接的旧地址做单页301,并把站内所有指向旧地址的内链直接改为新地址。内链改完后,重定向只服务于外部链接和用户书签,爬虫抓取路径更短,后续排查收录时不会再被“链到旧地址再跳转”的中间层干扰。
当新站只有上级栏目、没有等价页时,常见错误是直接301到栏目页。更合理的做法是先判断旧页是否值得保留一个独立落点。若旧页有稳定外链或仍有搜索需求,就在新栏目下新建一个承接页,把旧页的有效信息迁移过去,再把旧地址301到新承接页。若旧页信息已过时且外链很少,可以301到最接近的上级栏目,但要接受意图匹配度下降。
假设例子:某旧页是“某型号设备故障代码表”,新站只保留了该设备的总介绍页。若直接301到总介绍页,用户搜故障代码却看到产品概述,很可能返回搜索结果。此时更稳的是在介绍页下新增故障代码段落或子页,再重定向。这个判断不依赖任何平台数据,只看旧页意图与新目标能否对上。
需要提醒的是,robots.txt的抓取限制不等于可靠的索引移除。如果旧页既不能重定向、又不想被访问,仅靠robots.txt禁止抓取,已收录的URL仍可能出现在结果里。此时应优先用410或noindex配合,具体支持情况需分别核查目标搜索引擎。
旧页确实没有承接价值时,返回410是比301到首页更诚实的选择。301到首页会让大量不相关旧地址把权重和用户都导向首页,稀释首页主题;410则明确告诉爬虫该资源已永久消失。
退出前要做两件事:
动作结果:完成410和内链清理后,再观察服务器日志中该路径的抓取频次。抓取量下降通常说明爬虫已接受移除信号,但这不能单独证明处理正确,也可能是抓取预算整体转移;需要结合是否仍有外部链接指向该地址来判断。
处理完成后,不要用“收录量归零”或“抓取量下降”单独下结论。可区分的原因至少有两种:一是移除信号生效,爬虫不再请求;二是内链已改、外链减少,抓取自然下降。两者处理方式不同,前者无需再动,后者要回头补承接页。
下一步动作:抽取一批旧地址,在服务器日志中看它们返回的状态码和目标地址是否符合预期。若发现301链过长(A→B→C),把中间跳转改为直接指向最终页,减少传递损耗。若发现410地址仍有站内入口,回到内链清理这一步。这个循环的终点不是“全部收录”,而是每个旧地址都有明确、一致的处理结果。