pagedown231 发表于 2008-8-17 18:34:46

火车头经验谈,多数据多个任务一起采,比一个任务采集快!

我测试过N次,如果你要采集的对象数据有N万条,一个任务采集会很慢,我的火车头还采死过两次,都必须要重新再次采集.
如果分成N个任务,每个任务只采集他的1/10或者1/20之一,这样明显速度会提高很多.
不信大家试试.
因为每个任务是针对一个数据库,数据太大,操作起来火车头会很慢,我的10万数据发了都已经采了三天了,采死两次,后面一次我认真看到起采,他是越采越慢.
发布也是,明显比数据小的发得慢.

beautylove 发表于 2008-8-17 18:37:29

是这个道理，不过很少有人采集这么多数据的。。

pagedown231 发表于 2008-8-17 20:32:11

数据太少我感觉基本上都不需要用火车头这种软件就可以解决了!

vus520 发表于 2008-8-17 21:40:45

采集的时候，列表地址不要设置太多，如果真有太多太多网址，建议分成几个站点，注意，是站点。
拷贝到不同的站点下，再设置每个任务的列表地址，这样可以有效避免在排除重复地址时的冗长查询。

龙轩 发表于 2008-8-18 18:39:06

学习了~:lol

chenfy 发表于 2008-8-18 19:46:03

又学到了一招，学习中

sengl 发表于 2008-8-18 19:50:47

呵呵   我一直就这么做的.ali15ls

独角兽 发表于 2008-8-19 11:26:08

ali18ls ali18ls

qquxi 发表于 2008-8-19 13:26:15

经验谈ali13ls

50892440 发表于 2008-8-20 11:09:03

原来这样啊，呵呵，还本想用一条规则搞定整个站呢，呵呵，看来这样省了做规则的时间，但采集时间增加了，呵呵，
页: [1]
查看完整版本: 火车头经验谈,多数据多个任务一起采,比一个任务采集快!