caijihome 发表于 2012-11-30 13:49:02

网址库的作用是干嘛的。为什么关闭过滤重复功能对单次采集不管用。



如果说网址库就是把采集网址 记录到数据库里面做对比。

那关闭了是不是就是说不做对比了

但是为什么如图所示，采集的时候还是做了对比呢？
希望增加一个功能 单次采集不过滤重复。

caijihome 发表于 2012-11-30 13:59:03

适用范围：
电子商务网站采集
动态网站程序采集，信息更新比较快的，网址不变。
小偷程序采集

kuhabe 发表于 2012-11-30 14:05:05

caijihome 发表于 2012-11-30 13:59 static/image/common/back.gif
适用范围：
电子商务网站采集
动态网站程序采集，信息更新比较快的，网址不变。


检测 重复网址 不要勾选 就可以了

caijihome 发表于 2012-11-30 14:06:38

kuhabe 发表于 2012-11-30 14:05 static/image/common/back.gif
检测 重复网址 不要勾选 就可以了

不行呀，就比如我截图的图片，测试的时候是46个，采集的时候只有23个，V7发布以来，一直都在反馈这个问题，用了多半年了，感觉增加这个功能 好一些。
页: [1]
查看完整版本: 网址库的作用是干嘛的。为什么关闭过滤重复功能对单次采集不管用。