网址库的作用是干嘛的。为什么关闭过滤重复功能对单次采集不管用。

caijihome

如果说网址库就是把采集网址 记录到数据库里面做对比。

那关闭了是不是就是说不做对比了

但是为什么如图所示，采集的时候还是做了对比呢？
希望增加一个功能 单次采集不过滤重复。

caijihome

适用范围：
电子商务网站采集
动态网站程序采集，信息更新比较快的，网址不变。
小偷程序采集

kuhabe

caijihome 发表于 2012-11-30 13:59
适用范围：
电子商务网站采集
动态网站程序采集，信息更新比较快的，网址不变。

检测 重复网址 不要勾选 就可以了

caijihome

kuhabe 发表于 2012-11-30 14:05
检测 重复网址 不要勾选 就可以了

不行呀，就比如我截图的图片，测试的时候是46个，采集的时候只有23个，V7发布以来，一直都在反馈这个问题，用了多半年了，感觉增加这个功能 好一些。