报告里的页数多于你手上实际需要处理的页面数量,通常不是工具算错,而是统计口径不同:报告按“URL 记录数”计数,业务按“内容对象数”计数。去重的第一步不是删数据,而是先判断多出来的部分是同一对象的不同地址,还是不同对象被误当成一个。判断依据不同,处理动作完全相反。
把报告导出的地址列和你的对象清单并排看,重点比对三项:主域名与协议是否一致、路径是否只差结尾斜杠或默认文件名、参数是否只差排序或跟踪字段。如果差异集中在这三项,多半是同一对象被记成多条;如果差异出现在路径主体或目录层级上,则可能是真实存在的不同对象,只是你的清单漏了。
一个可用的区分信号是:同一对象的多条记录,其标题、正文首段或页面主体内容往往高度重合;不同对象即使路径相近,主体内容也有实质差异。这个信号只能作为辅助,不能单独定论,因为模板页也可能出现内容重合。
当确认多条记录指向同一内容对象时,处理目标是让后续统计和人工处理都收敛到一条主地址上。具体动作分三步:
这里的关键假设是:你的对象清单本身是准确的。如果清单本身就混入了测试页或废弃页,去重后数量仍会对不上,此时应先清理清单,再回头比对报告。这一步动作会直接改变下一步——清单不准时,任何去重规则都会把错误固化下来。
如果多出来的记录路径主体不同、内容也各自独立,那它们不是重复,而是你的清单不完整。这时去重是错误方向,正确动作是补全对象清单,并确认这些页面是否属于本次要处理的业务范围。
判断是否属于范围的依据可以是一组可核对的条件:是否由同一业务方维护、是否有独立的内容主题、是否承担独立的访问入口。三项都满足,通常应纳入清单;只满足一项,先归入待定区,不要直接计入正式对象数。
假设一个场景:报告显示 120 条记录,你的清单只有 95 个对象。排查后发现其中 15 条是同一批页面的参数变体,另外 10 条是清单遗漏的独立页面。此时正确结果是 105 个对象,而不是 95 或 120。这个数字只是说明比较方法,实际数量必须以你自己的核对结果为准。
靠人工逐条比对无法长期维持。把判断条件写成明确规则,才能让下一轮比对自动收敛。规则应至少覆盖:
规则确定后,先在一小批已知数据上试跑,用已知的对应关系验证规则是否误合并了不同对象。误合并比漏合并更难发现,因为它会让对象数偏低而看起来“更干净”。
有几类情况即使看起来像重复,也不应合并。多语言或多地区版本如果面向不同受众、内容各自维护,属于不同对象;同一路径下不同业务线各自维护的页面,即使模板相同,也应分开计数。判断标准是维护责任和受众是否相同,而不是页面长得像不像。
另外,报告记录数下降本身不能证明去重做对了。记录数减少还可能来自抓取范围变化、访问限制或统计周期调整。要确认去重有效,应同时核对对象清单是否稳定、主地址是否可访问,而不是只看总数变小。
最后一步是把去重后的对照表固定下来,作为下一轮报告的基准。每次报告生成后先与基准比对差异,再决定是修规则还是补清单,这样页数与对象数不一致的问题才会逐步收敛,而不是每轮重新排查。