【求助】如何不采集重复的内容？

maxer

【求助】如何不采集重复的内容？


我现在是这样采集的：有一个主题列表，他的主题列表可能一天更新几次，所以我采集也都是早上采一下，中午采一下，晚上再采一下。

我目前这样采的时候，如果到了中午采一下，则把早上采过的标题又采了一遍，有没有什么办法不采集已经采集过的链接啊。

我记得火车头有这个功能的，可是我现在不知道在哪里，或者我设置了，确没用。

我已经找过了“系统全局设置”了

都市乞丐

采集规则的  第一步  有一个检查重复网址, 你是不是没勾上

maxer

采集规则的  第一步  有一个检查重复网址, 你是不是没勾上
都市乞丐 发表于 2010-4-5 13:00

    第一步  有一个检查重复网址，都是勾上的

wuxiguacom

选项设置 ——采集发布设置——连续重复多少条后跳过

残刀

回复 4# wuxiguacom 请教下那要是假如设置重复10条跳过，下次采集时肯定会直接跳过网址不采集了，更集的内容也采不到了，我就遇到这种情况，那要怎么办呢？