火车头经验谈,多数据多个任务一起采,比一个任务采集快!

pagedown231 · 发表于 2008-8-17 18:34:46

我测试过N次,如果你要采集的对象数据有N万条,一个任务采集会很慢,我的火车头还采死过两次,都必须要重新再次采集.
如果分成N个任务,每个任务只采集他的1/10或者1/20之一,这样明显速度会提高很多.
不信大家试试.
因为每个任务是针对一个数据库,数据太大,操作起来火车头会很慢,我的10万数据发了都已经采了三天了,采死两次,后面一次我认真看到起采,他是越采越慢.
发布也是,明显比数据小的发得慢.

beautylove · 发表于 2008-8-17 18:37:29

是这个道理，不过很少有人采集这么多数据的。。

pagedown231 · 发表于 2008-8-17 20:32:11

数据太少我感觉基本上都不需要用火车头这种软件就可以解决了!

vus520 · 发表于 2008-8-17 21:40:45

采集的时候，列表地址不要设置太多，如果真有太多太多网址，建议分成几个站点，注意，是站点。
拷贝到不同的站点下，再设置每个任务的列表地址，这样可以有效避免在排除重复地址时的冗长查询。

龙轩 · 发表于 2008-8-18 18:39:06

学习了~

chenfy · 发表于 2008-8-18 19:46:03

又学到了一招，学习中

sengl · 发表于 2008-8-18 19:50:47

呵呵我一直就这么做的.

独角兽 · 发表于 2008-8-19 11:26:08

qquxi · 发表于 2008-8-19 13:26:15

经验谈

50892440 · 发表于 2008-8-20 11:09:03

原来这样啊，呵呵，还本想用一条规则搞定整个站呢，呵呵，看来这样省了做规则的时间，但采集时间增加了，呵呵，

帐号		自动登录	找回密码
密码			加入会员