建议不要重复检测已采集的网址（第二贴）

ming142007 · 发表于 2012-6-7 11:28:17

我的一级网址下面有20个二级网址，我在这里设置多少比较合适呢？对于这个设置我的理解是：如果设置为2，那么当采集了一个一级网址下的2个重复的二级网址时，则跳到下一个一级网址进行采集。但是事实上不是这样子，例如我设置了2，当采集器采集了一级网址下的2个重复二级网址是，会跳过所有的网址采集，采集内容了。

lbjyuer · 发表于 2016-2-10 19:08:55

爪，以后学习下。。