采集速度怎么提升？

神仙下凡 · 发表于 2007-10-31 14:10:13

单纯的采集网址列表，一级深度
CPU稳定在90%以上
共17500网址，采了14个小时了还没采完。。。。。。。
接下来还要采内容，以及在线发布。。。。。
OH，MY GOD~~~~~~~~~
17500篇文章要整整24个小时才行~~~~~~~
效率比3.1低了很多，3.1就是可恶的占用内存要命~~~
我3M电信ADSL，某些人别老是拿网速做文章，我这边连接到目标站点的速度快着呢

天毅 · 发表于 2007-10-31 14:33:02

分批量采集不要采集那么多…………
一批采集2000 就多编辑几下多点几下鼠标速度会快得多的

rq204 · 发表于 2007-10-31 15:16:20

要知道,火车一边采,一边检查是否有重复,你弄那么多,当然慢了,网速也不是多大问题,机子也不是..

vus520 · 发表于 2007-10-31 15:27:53

不要把CPU不当人，CPU的运算也有上限~慢慢来吧，没事的！

最好不要像我一样，采集了快20W条记录才一下子崩溃，可惜了呀！

神仙下凡 · 发表于 2007-10-31 16:11:24

总是想一步到位

删除记忆 · 发表于 2007-10-31 16:33:04

在线发布也影响效率.

删除记忆 · 发表于 2007-10-31 16:36:16

楼主的芯是几啊.我赛扬4采4W数据用时6H,

删除记忆 · 发表于 2007-10-31 17:39:36

楼主的芯是几啊.我赛扬4采4W数据用时6H,

神仙下凡 · 发表于 2007-10-31 22:21:52

c4 2.0

删除记忆 · 发表于 2007-11-1 08:15:34

那你可真的是该寻找原因了或许你的系统服务过多

帐号		自动登录	找回密码
密码			加入会员