我采集了38万条地址用了4天4夜

bbswin · 发表于 2008-4-1 17:53:21

我采集了38万条地址用了4天4夜，只是地址，还没有采内容，是不是很慢呀？双核cpu 1g内存

要是地址采集也能象内容一样，可以续采就好了，现在还没采完，就怕死机，4天的功夫就白费了。

感觉在采集地址的开始阶段还是很快的，都最后越来越慢，是不是数据库越来越大的原因

[ 本帖最后由 bbswin 于 2008-4-1 17:57 编辑 ]

孤魂 · 发表于 2008-4-1 18:04:36

火车头使用access储存数据，请单任务的数据不要存太多，access的负载能力不是很乐观

moaiwu · 发表于 2008-4-1 18:29:37

那是因为你不懂

ntsys · 发表于 2008-4-1 18:36:53

线程数改大点

小齐 · 发表于 2008-4-1 18:59:18

恭喜

飛越無限 · 发表于 2008-4-1 19:05:49

ＡＣＣ都是这样子的了

sushy · 发表于 2008-4-1 20:37:02

建议分割成多个任务来采集，最后将数据库整合即可。

bbswin · 发表于 2008-4-1 22:59:23

本来想偷懒，一次采好，结果还得从头再来，分成多个任务采，哈哈

帐号		自动登录	找回密码
密码			加入会员