火车头V7不检测重复采集无法做到，检测重复网址重复功能，如果不勾选，定义不充分

52uxi · 发表于 2012-4-9 01:10:34

检测重复网址，如果不勾选，有些重复信息还是让过滤了

假如网站A的一个B列表含有一个C连接
网站A的一个D列表也含有C连接
那么我同时采集B和D列表，只会采集一个C连接出来，这个不符合不重复过滤要求把
演示规则

52uxi · 发表于 2012-4-9 01:13:27

一句话说明

重复不过滤，火车头单次运行的时候还是过滤了。只有过滤功能，没有完全不过滤的功能

rq204 · 发表于 2012-4-10 09:16:41

采集器的检测重复是和网址库中的网址进行对比，并不是单个任务中运行时不检测。单个任务运行时默认会对重复的网址进行排除的。

ytyyutianyun · 发表于 2012-4-26 17:24:14

rq204 发表于 2012-4-10 09:16
采集器的检测重复是和网址库中的网址进行对比，并不是单个任务中运行时不检测。单个任务运行时默认会对重复 ...

单个任务运行时默认会对重复的网址进行排除的
那么可以设置不排除吗，在哪里设置，谢谢