采集列表慢得很~

akun · 发表于 2009-9-19 22:13:28

采集列表页网址时，速度那个叫慢，差不多一秒种一条！没有缩略图！
是不是我电脑配置太低的问题？
IBM T43， 1.86G，两G内存

完了我发现，有时同时开启两个采集任务时，其中会有一个任务的列表页URL采集前两页速度飞快，抓取列表内容后，分析与添加连接的速度快得很，一个列表25条，也是一秒钟左右完成，不过这也仅限于头两页列表！神啊！救救我吧~~

aven · 发表于 2009-9-20 03:19:09

如果列表中没有标签

强烈建议分开来进行

aihuo111 · 发表于 2009-9-25 07:40:20

有时候是目标站的原因如果你采集百度的就非常快了刷刷刷的某些站你平时浏览倒很快可是你采集时却发现就慢了....

帐号		自动登录	找回密码
密码			加入会员