火车头的重复检测跳过功能，希望可以应用到404或者采集不到的情况。

caijihome · 发表于 2013-6-7 18:05:36

本帖最后由 caijihome 于 2013-6-7 18:14 编辑

有些网站，数据比较多。
栏目比较多，或者关键词比较多。
我直接设置最大页码，比如全部设置 100页。

能不能火车头在采网址的时候这样！！连续N条采集不到网址的时候跳过改组多页网址

同理 404 。连续多页网址打不开，就不要继续向后面蹦了。效率低着呢。

caijihome · 发表于 2013-6-7 18:06:55

这样一来，我是不是不用管他们多少页？连续 10个列表采集不到东西。直接跳过不采集了。

是连续，不是积累，加上这个功能吧！！

caijihome · 发表于 2013-6-13 14:01:36

POST规则亦如此。批量的话。无法一个一个设置页码，希望火车头自动一点。

90seoboy · 发表于 2013-6-29 17:21:15

建议增加带特定字符串跳过！！

caijihome · 发表于 2013-7-1 20:31:19

90seoboy 发表于 2013-6-29 17:21
建议增加带特定字符串跳过！！

啥意思，这个本身有这个功能吧。过滤

lbjyuer · 发表于 2016-2-10 16:01:46

和你们一块学习。。。

帐号		自动登录	找回密码
密码			加入会员

火车头的重复检测跳过功能，希望可以应用到404或者采集不到的情况。

浏览过的版块