这个帖子难道就这样解释关了吗？2010关于不重复过滤并不是这样的？

52uxi · 发表于 2012-4-10 13:52:27

http://bbs.locoy.com/spider-73212-1-1.html
2010版本如果勾选重复过滤，功能跟V7一样

但是不勾选，2个功能都不一样
具体体现在 2010 重复不过滤，根本没有对比参数，什么信息都不过滤

V7重复不过滤，是跟自己的临时采集数据库做了对比，这样还是有差别吧，不能改进吗，就我传的规则2010和 V7采集数量明显都不一致了，希望改进下，有用的

我经常用软件采集某些商城，同样一个产品，可能会多栏目调用，也就是一个产品多重分类问题。我如果想要保持跟对方数据库框架一致，
V7根本做不到
都过滤掉了

52uxi · 发表于 2012-4-10 13:59:30

可能官方没懂我的意思，我想要采集的时候不过滤

加入一个产品网址为http://123.com/abc.htm，他同时属于一个网站的2个栏目

那么我采集这2个栏目的话，这个产品只会采集一次，不会采集2次，如果我想采集2次根本做不到

52uxi · 发表于 2012-4-20 12:00:17

希望官方改进，谢谢，
希望可以做到重复不过滤

52uxi · 发表于 2012-4-20 12:01:44

为了保持采集和对方网站框架，分类结构一样，还是希望保持这样一个功能，采集不做任何重复检查

52uxi · 发表于 2012-4-20 11:58:25

希望官方改进，谢谢，希望官方改进，谢谢，
希望官方改进，谢谢，

52uxi · 发表于 2012-4-20 11:59:35

希望官方改进，谢谢，
希望可以做到重复不过滤，采集的时候不希望程序去做任何重复检查

rq204 · 发表于 2012-4-20 13:23:49

一个任务中的网址重复程序会过滤掉的，该功能暂时不会有修改。如果您是同时采集多个栏目而有重复出现，可以考虑使用多个任务采集。

52uxi · 发表于 2012-4-20 14:10:30

{:soso_e127:}{:soso_e127:}{:soso_e127:}{:soso_e127:}{:soso_e127:}

帐号		自动登录	找回密码
密码			加入会员