重复爬取信息内容什么鬼

wx_f7k8V79D · 发表于 2017-11-10 17:35:01

任务规则没有问题，进行日常的更新，为什么之前的爬取过得数据还会一直重复的爬取

leweizxl · 发表于 2017-11-13 10:22:04

网址会默认过滤重复的

wx_f7k8V79D · 发表于 2017-11-14 13:50:55

leweizxl 发表于 2017-11-13 10:22
网址会默认过滤重复的

对啊，可是比如第一次爬，爬全部的，第二次爬只是爬取更新的，以前爬的没有爬取。到了第三次，就又开始爬取全部的。是这种情况。

leweizxl · 发表于 2017-11-14 14:10:26

wx_f7k8V79D 发表于 2017-11-14 13:50
对啊，可是比如第一次爬，爬全部的，第二次爬只是爬取更新的，以前爬的没有爬取。到了第三次，就又开始爬 ...

如果是过滤重复内容的话可以考虑用过滤删除的设置