先别急着改结论,把每个分组的分子和分母分别列出来,再核对它们是否来自同一统计口径。辛普森悖论式的反转,多数不是数据算错,而是各分组的权重结构不同,或某类记录在分组时被重复计入、遗漏,导致总体比率被高权重分组带偏。
分组结论与总体相反,有两种性质完全不同的情况。一种是真实的构成效应:各组内部比率都朝同一方向变化,但组间样本量差异巨大,合并后总体比率被大组主导。另一种是口径问题:分组的分子来自A系统,分母来自B系统,或者时间窗口、去重规则不一致。判断方法很直接——把总体比率按各分组的样本量加权还原一次,看能否复现原值。如果加权后对不上,问题在分母定义,不在业务结论。
这一步的代价是时间。假设你有五个渠道分组,每个渠道的访问数和转化数分别来自不同报表,逐项核对可能要半天。但跳过这一步直接改策略,代价可能是把资源投错方向,且错误会随报表周期反复出现。
COUNT(DISTINCT user_id)重算各分组分母,与总体分母对比。做完这三个动作,你会得到两种结果之一:反转消失,说明是口径问题;反转仍在,说明构成效应真实存在。前者修改报表定义即可,后者需要进入下一步决策。
如果加权还原能复现总体值,说明反转是真实的构成效应。此时要问的是:你的决策对象是"整体资源分配"还是"组内优化"。
两种做法不冲突,冲突的是只保留一个却不说明另一个为什么被搁置。实际动作是:在报告里同时呈现总体值和分组值,并注明各分组在总体中的权重。下一步的决策依据就从"哪个数字对"变成"哪个数字对应我要影响的变量"。
假设某网站有两个流量来源:来源A带来1000次访问、转化率2%;来源B带来100次访问、转化率10%。总体转化率约为2.7%。分组看,B的转化率远高于A;总体看,转化率被A的大样本量拉低。如果目标是提升全站转化率,优先优化A的转化路径,因为A的权重是B的十倍。如果目标是评估B渠道的投放效果,则应该看B的分组转化率,总体值对它没有参考意义。
这个例子里,分母分别是1000和100,总体分母是1100。查分母就是确认这三个数是否来自同一去重规则、同一时间窗口。确认之后,选择保留哪个结论取决于你要回答的问题,而不是哪个数字更大。
每次遇到分组与总体结论相反,先做加权还原测试。还原成功,进入构成效应决策;还原失败,回到分母定义排查。这个顺序能避免在口径问题上浪费业务讨论时间,也能避免在真实构成效应面前强行统一口径、掩盖分组差异。核查结果直接决定下一步是改报表还是改策略,两者不能混在一起做。