如何避免重复采集？

真的金龙 · 发表于 2012-2-26 12:55:41

虽然在任务选项种有检测重复网址选项，
但是对于部分论坛采用静态页面后，
网址是随着帖子的增加而变化的，
最明显的就是帖子网址加上了当前页数，
虽然帖子内容没有变，但是网址却随着帖子的增减而变化，
这样就是一个新的网址了，而继续采集。

303718 · 发表于 2012-2-28 14:12:20

你可以通用自定义连接的模式组合成动态的模式就不会重复了

KING馒头 · 发表于 2012-2-29 15:21:45

支持一下！！！！！新手刚刚上来！！感觉V7还不错！！

真的金龙 · 发表于 2012-3-1 11:06:54

没找到在什么地方设置

帐号		自动登录	找回密码
密码			加入会员