mg426 发表于 2009-5-31 16:53:41

在线等~~能否通过设置提高采集速度？

比如我要在网站上采集5000+条文字信息
能否通过设置单任务多线程和采集间隔时间毫秒来加快采集速度？现设置2项都为10
还有采集必须分-生成地址-采集-保存？能否优化？3Q~

天大地大 发表于 2009-5-31 16:57:51

同问~~~~~~~

mg426 发表于 2009-5-31 17:09:39

测试了下第一部生成地址5700多个花了近1小时- -。。。。
CPU C430 1。8G 内存1G

rq204 发表于 2009-5-31 17:48:22

测试了下第一部生成地址5700多个花了近1小时- -。。。。
CPU C430 1。8G 内存1G
mg426 发表于 2009-5-31 17:09 http://bbs.locoy.com/images/common/back.gif

这个是access数据的负载影响的,你如果要采集大量数据,可以考虑购买收费版本,使用sqlite数据,生成12万网址时间在一分钟左右.

afanfan2007 发表于 2009-5-31 19:23:22

买个 收费版 用 sqlite数据库的速度 惊人~!
页: [1]
查看完整版本: 在线等~~能否通过设置提高采集速度？