maxer 发表于 2010-4-5 08:56:19

【求助】如何不采集重复的内容？

【求助】如何不采集重复的内容？


我现在是这样采集的：有一个主题列表，他的主题列表可能一天更新几次，所以我采集也都是早上采一下，中午采一下，晚上再采一下。

我目前这样采的时候，如果到了中午采一下，则把早上采过的标题又采了一遍，有没有什么办法不采集已经采集过的链接啊。

我记得火车头有这个功能的，可是我现在不知道在哪里，或者我设置了，确没用。

我已经找过了“系统全局设置”了

都市乞丐 发表于 2010-4-5 13:00:53

采集规则的第一步有一个检查重复网址, 你是不是没勾上

maxer 发表于 2010-4-5 13:12:48

采集规则的第一步有一个检查重复网址, 你是不是没勾上
都市乞丐 发表于 2010-4-5 13:00 http://bbs.locoy.com/images/common/back.gif


    第一步有一个检查重复网址，都是勾上的

wuxiguacom 发表于 2010-4-6 10:56:46

选项设置 ——采集发布设置——连续重复多少条后跳过

残刀 发表于 2010-8-11 22:42:29

回复 4# wuxiguacom 请教下那要是假如设置重复10条跳过，下次采集时肯定会直接跳过网址不采集了，更集的内容也采不到了，我就遇到这种情况，那要怎么办呢？
页: [1]
查看完整版本: 【求助】如何不采集重复的内容？