打印

[2008版] 火车头经验谈,多数据多个任务一起采,比一个任务采集快!

本主题由 rq204 于 2008-8-18 09:24 移动

pagedown231

个人版用户

Rank: 5 Rank: 5

UID: 89988
帖子: 110
活跃度: 202 点
火车车厢: 1 节
注册时间: 2008-8-2

1楼大中小发表于 2008-8-17 18:34 只看该作者

火车头经验谈,多数据多个任务一起采,比一个任务采集快!

我测试过N次,如果你要采集的对象数据有N万条,一个任务采集会很慢,我的火车头还采死过两次,都必须要重新再次采集.
如果分成N个任务,每个任务只采集他的1/10或者1/20之一,这样明显速度会提高很多.
不信大家试试.
因为每个任务是针对一个数据库,数据太大,操作起来火车头会很慢,我的10万数据发了都已经采了三天了,采死两次,后面一次我认真看到起采,他是越采越慢.
发布也是,明显比数据小的发得慢.

TOP

beautylove

热心会员

Rank: 3 Rank: 3

UID: 70234
帖子: 157
活跃度: 225 点
火车车厢: 31 节
注册时间: 2007-9-26

2楼大中小发表于 2008-8-17 18:37 只看该作者

是这个道理，不过很少有人采集这么多数据的。。

国外空间 30元 5g/年

TOP

pagedown231

个人版用户

Rank: 5 Rank: 5

UID: 89988
帖子: 110
活跃度: 202 点
火车车厢: 1 节
注册时间: 2008-8-2

3楼大中小发表于 2008-8-17 20:32 只看该作者

数据太少我感觉基本上都不需要用火车头这种软件就可以解决了!

TOP

vus520

尘缘

管理员

Rank: 9 Rank: 9 Rank: 9

越学越少

UID: 30324
帖子: 2114
活跃度: 3635 点
火车车厢: 126 节
注册时间: 2007-5-1

4楼大中小发表于 2008-8-17 21:40 只看该作者

采集的时候，列表地址不要设置太多，如果真有太多太多网址，建议分成几个站点，注意，是站点。
拷贝到不同的站点下，再设置每个任务的列表地址，这样可以有效避免在排除重复地址时的冗长查询。

火车采集器商业版咨询、购买、售后支持等 :

火车采集器2008版系列教程正在陆续发布中 : 点击观看
提供高难度采集技术支持，完美实现全站转移,多栏目自动更新
火车采集器采集规则定制：[50元/条,质量保证]
火车采集器发布模块定制：[80元/条,质量保证]
火车采集器程序接口定制：[按程序难度议价,200起]
织梦图片集自动发布模块：[100元/个,自动分析图片代码、远程下载图片]
支持支付宝淘宝安全交易：Q Q: 130775 Mail:vu520@163.com ->查看更多联系方式