先给结论:识别样本污染的关键不是看总量差多少,而是先确认每个访客是否只被一个版本稳定承接,再判断这种分配是否与来源、设备或登录状态相关。如果同一访客在会话中途被换到另一个版本,或者不同版本各自只拿到特定来源的流量,那么两组数据就不能直接比较,此时应停止用汇总报表下结论,回到原始会话层面拆分。
假设你负责一个内容站,正在把旧版列表页逐步替换为新版。为了减少风险,你把一部分入口指向新版,另一部分仍指向旧版,并计划用SEO数据查询对比两版的停留和转化。上线三天后,新版转化看起来更高,但你会发现一个反常现象:新版的访问几乎全部来自移动端自然搜索,旧版则集中了桌面端和直接访问。此时两组样本的构成已经不同,直接比较等于把来源差异误当成版本差异。
这个情境是虚构的,只用于说明判断顺序,不代表任何真实站点结果。它要解决的问题是:当访客被分配到不同版本时,怎样识别样本污染,而不是怎样把差异算得更漂亮。
样本污染通常从分配单位开始。你需要先回答一个具体问题:同一个访客第二次进入时,是否还会落到同一版本?如果分配是按会话随机,那么同一用户可能这次看新版、下次看旧版,两组的用户构成会互相渗透;如果分配是按用户标识固定,那么至少同一个登录用户或同一设备标识会稳定落在一侧。
可操作的动作是:在SEO数据查询中拉出带用户标识或设备标识的明细,按标识统计其命中的版本数量。若大量标识同时出现在两个版本,说明分配并不稳定,后续的版本对比需要先剔除这些跨版本标识,或者改用以用户为单位的聚合口径。这个动作的结果会直接影响下一步:如果跨版本比例很低,可以继续做组间比较;如果比例很高,则应先修分配逻辑,而不是继续调报表。
即使分配稳定,来源结构也可能被切分。常见原因是不同入口指向不同版本,例如搜索结果中的旧链接仍进旧版,站内推荐位指向新版。这样一来,搜索引擎、平台推荐和直接访问的占比在两组之间天然不同,而这三类流量的行为本来就存在差异。
判断证据可以看三件事:
如果来源结构被切分,合理的做法不是直接比较两版总转化,而是先在同一来源内部比较,再决定是否合并。若某一来源只落在一侧,则该来源不能用于版本判断,应单独列出并说明其不可比。
样本污染还有一种隐蔽形式:访客在会话中途被换到另一个版本。例如从新版列表点进详情后,详情页仍由旧版承接,或者登录后跳回旧版。此时会话被拆成两段,停留时长和转化路径都会被截断,而汇总报表可能把它算成两个独立会话。
你可以用会话路径来验证:在SEO数据查询中查看同一会话内是否出现两个版本标识。若出现,需要标记为跨版本会话并单独统计。这个动作的结果决定了你能否使用停留和转化指标:跨版本会话比例高时,这些指标对版本判断的价值下降,应改用只包含单版本会话的子集,或者改看更靠后的稳定行为,例如完成注册或提交表单。
第三方估算流量、搜索引擎报告与站内统计的口径本来就不同,因此不能只凭某一个指标的变化就断言版本优劣。更稳妥的证据链是:先确认分配稳定,再确认来源结构可比,最后在同一来源、同一设备类型、同一登录状态下比较单版本会话。每一步都留下可复查的筛选条件,而不是只保留一个结论数字。
如果发现请求量、抓取量或某项统计突然归零,也不要立刻认定是版本问题。归零还可能来自日志采样、统计脚本未加载、过滤规则变化或权限调整。正确动作是先用原始日志或明细核对,确认数据是否真的缺失,再判断是否与版本分配有关。
当跨版本标识比例低、来源结构在两组间大致可比时,可以直接做版本对比,代价是需要持续监控分配是否漂移。当跨版本比例高或来源被明显切分时,应放弃汇总对比,改用单版本会话子集或按来源分层比较,代价是样本量减少、结论覆盖范围变窄,但能避免把结构差异误判为版本效果。
选择哪一种,取决于你的分配机制是否稳定、来源是否被入口切分,以及你能否拿到会话级明细。先做分配核查,再决定比较口径,最后才解读指标,这样得到的结论才经得起复查。