在线等~~能否通过设置提高采集速度？

mg426 · 发表于 2009-5-31 16:53:41

比如我要在网站上采集5000+条文字信息
能否通过设置单任务多线程和采集间隔时间毫秒来加快采集速度？现设置2项都为10
还有采集必须分-生成地址-采集-保存？能否优化？3Q~

天大地大 · 发表于 2009-5-31 16:57:51

同问~~~~~~~

mg426 · 发表于 2009-5-31 17:09:39

测试了下第一部生成地址5700多个花了近1小时- -。。。。
CPU C430 1。8G 内存1G

rq204 · 发表于 2009-5-31 17:48:22

测试了下第一部生成地址5700多个花了近1小时- -。。。。
CPU C430 1。8G 内存1G
mg426 发表于 2009-5-31 17:09

这个是access数据的负载影响的,你如果要采集大量数据,可以考虑购买收费版本,使用sqlite数据,生成12万网址时间在一分钟左右.

afanfan2007 · 发表于 2009-5-31 19:23:22

买个收费版用 sqlite数据库的速度惊人~!

帐号		自动登录	找回密码
密码			加入会员