转化率优化遇到分流实验出现样本污染，怎样识别并决定是否保留旧版本
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /84c9a03fca0d.html
📄
转化率优化遇到分流实验出现样本污染，怎样识别并决定是否保留旧版本
样本污染指的是被分到A或B版本的访客，其身份、来源或后续行为被另一版本或其他处理方式影响，导致两组差异不再只反映版本本身。识别它不能只看转化率高低，而要看分流记录、曝光记录和转化记录能否在同一个访客身上对齐；如果对不齐，先停止读结论，再决定是修复分流、剔除污染样本，还是让旧版本整体退出。
先假设一个场景：旧落地页与新版并行，但两组数据开始互相串
假设某站点准备让旧落地页逐步退出，同时保留其中仍然有效的咨询入口，于是把部分访客分流到新版。运行一周后，运营看到新版转化率略高，但客服反馈有访客在新版提交表单后，又在旧版完成了二次动作；另有访客先看到旧版，再刷新进入新版。此时两组都记录了转化，差异方向却可能被重复计数和跨版本行为扭曲。这个例子只用于说明判断方法，不代表任何真实项目结论。
要做的第一个动作不是调优，而是拉出一张逐访客对照表：同一访客ID或匿名ID下，分流版本、首次曝光时间、转化时间、转化页面分别是什么。若同一ID出现两个版本曝光，或转化事件挂在未曝光版本上，就进入污染排查。这个动作的结果决定下一步：如果污染只集中在少数入口，可以修复后再读数据；如果污染贯穿主要流量，旧版本退出方案就不能以当前实验结论为依据。
三类证据能区分“污染”与“正常差异”
分流记录与曝光记录是否一致
先检查分流服务写入的版本，与页面实际渲染上报的版本是否一致。常见的不一致包括：缓存把旧版页面返回给被分到新版的访客；前端脚本延迟加载，导致分流已记录但曝光未记录；同一访客跨设备或跨会话被重新分配。若不一致集中在某一类页面或某一段加载路径，说明污染有明确来源，修复范围可控。
反过来，如果分流与曝光高度一致，只是两组转化率有差距，那就不能仅凭差距断言污染，还要看后续行为是否独立。
转化事件是否只归属一次
把转化事件按访客去重，看同一目标动作是否被两个版本各记一次。若旧版和新版都写入同一转化，且没有互斥标记，实验组之间就不再独立。此时可以给转化事件增加版本归属校验：只有与首次有效曝光版本一致的转化才计入该组。这个动作会把一部分转化从分子中移除，转化率随之变化；变化幅度本身能提示污染规模，但不能直接说明哪个版本更好。
退出旧版本后，保留部分是否仍被旧逻辑影响
旧内容、旧系统或旧合作关系退出时，常见残留是跳转、旧表单接口、旧客服入口仍在工作。它们可能继续接收本应进入新版的访客。检查方式是列出所有仍指向旧版本的入口，并逐条确认其分流规则。若旧入口只服务特定来源，可把它视为独立流量，不并入新版实验；若它覆盖主流量，则应先关闭或改写规则，再重新观察。
用可核查的证据链做退出决策
不要用单一指标归零来证明处理正确。第三方估算流量、搜索引擎报告与站内统计口径不同，某个报表里旧页面流量下降，可能只是统计范围变化、抓取减少或归因窗口不同，不能单独证明旧版本已无价值。更稳妥的证据链是：分流日志显示旧版曝光持续下降；站内转化记录显示旧版仍有独立转化；客服或订单系统显示旧版入口仍有有效请求。三者同时成立时，才说明旧版本还有保留价值，退出应分批而不是一刀切。
假设某旧版咨询入口在分流日志中只剩少量曝光，但站内统计显示它带来的转化仍集中在特定来源，且这些来源在新版中未被覆盖。此时合理动作是保留该入口并单独标记，而不是把它算进新版实验。若后续确认该来源已迁移到新版，再关闭旧入口。每一步都以“关闭后是否出现新的未解释缺口”作为下一步依据，而不是预设见效时间。
修复后重新读数据前要确认的条件
- 同一访客在实验周期内只被分配一个版本，跨设备或重新进入时有明确归并规则。
- 曝光记录先于转化记录写入，且转化事件带有版本归属校验。
- 旧入口、旧接口和缓存路径已按保留或退出分别处理，不再混入主实验流量。
- 比较两组时同时看样本量、来源结构和行为路径，不只看转化率一个数字。
满足这些条件后，再重新计算两组差异；若污染样本已被剔除且剩余样本仍显示方向一致，才可以把它作为旧版本退出的参考。若方向反复或样本量不足，应继续保留旧版本中仍有独立价值的部分，避免用受污染的数据做不可逆的取舍。
