这种论坛的帖子如何做网址去重呢？

iou33449999

https://bbs.www.com/thread-11800-1-489.html
https://bbs.www.com/thread-11800-1-490.html

有一个论坛，同一个帖子，但是会自动改变URL，如上这俩，其实是一个帖子，这就会导致采集重复了。
其中真正有效的是帖子id，也就是11800
489和490分别是帖子当天所在的论坛页码，同一个帖子由于排序变化，这个数值就会变化。也就是说每个帖子理论上就会有很多URL。

这种情况下，要怎么做网址去重呢？

leweizxl

这种应该是直接做成内容分页设置的，不是做列表设置（做成列表的话，可以考虑用获取的主题做重复过滤处理）