52uxi 发表于 2012-4-9 01:10:34

火车头V7不检测重复采集无法做到，检测重复网址重复功能，如果不勾选，定义不充分

检测重复网址，如果不勾选，有些重复信息还是让过滤了

假如网站A的一个B列表 含有一个C连接
    网站A的一个D列表 也含有C连接
那么我同时采集B和D列表，只会采集一个C连接出来，这个不符合不重复过滤要求把
演示规则

52uxi 发表于 2012-4-9 01:13:27

一句话说明

重复不过滤，火车头单次运行的时候还是过滤了。只有过滤功能，没有完全不过滤的 功能

rq204 发表于 2012-4-10 09:16:41

采集器的检测重复是和网址库中的网址进行对比，并不是单个任务中运行时不检测。单个任务运行时默认会对重复的网址进行排除的。

ytyyutianyun 发表于 2012-4-26 17:24:14

rq204 发表于 2012-4-10 09:16 static/image/common/back.gif
采集器的检测重复是和网址库中的网址进行对比，并不是单个任务中运行时不检测。单个任务运行时默认会对重复 ...

单个任务运行时默认会对重复的网址进行排除的
那么可以设置不排除吗，在哪里设置，谢谢
页: [1]
查看完整版本: 火车头V7不检测重复采集无法做到，检测重复网址重复功能，如果不勾选，定义不充分