采集速度越来越慢，怎么回事

bigbother · 发表于 2008-8-19 16:40:17

采集速度越来越慢，怎么回事？一共才采集了1w条数据，明显感觉比开始慢了。查了论坛的帖子，说要新建站点避免重复地址的过滤，但是好像没用，还是慢，怎么回事呢？

chenfy · 发表于 2008-8-19 17:22:51

肯定是你的数据太多了，比如你现在采集的数据是1w来说，你把这个1w分成几个站点来采集，说明：是几个站点而不是几个任务，然后可同时采集，这样的话就可大大的增加速度了

孤魂 · 发表于 2008-8-19 17:44:43

3.2版有这个问题。用2008商业版，使用SQLITE数据库就好多了

chenfy · 发表于 2008-8-19 17:59:14

呵呵，说的有道理，努力去用商业版

xyz5200 · 发表于 2008-8-19 18:38:26

收费的就是好.哈

帐号		自动登录	找回密码
密码			加入会员