发现一个奇怪的问题，1+1不等于2

brian314 · 发表于 2010-1-17 21:56:49

我在采集网址的时候，因为一个网站有很多板块，我发现一次过添加并进行采集网址，到了后面会越来越慢，
但是如果我每采集完一个板块再采集另外一个板块，这样速度会非常快，我觉得是火车头的代码有问题，可能是资源没释放出来。

例如，我采集200页的网址，如果一次过采集200页，也许需要10分钟

如果我先采集100页，采集完之后再添加另外的100页网址进去进行采集（前面100页已经被我删除掉，防止重复采集），这样也许只需要5分钟的样子，

请管理员解释一下

不帅 · 发表于 2010-1-21 11:27:21

应该不会吧，我觉得是你采集的网站的流量、数据库承受能力等不够。你试试采集150页的时候打开他们的网页是否会慢。

inglove · 发表于 2010-1-23 14:09:04

楼上正解，很多方面的，不一定是火车头的事啊，

帐号		自动登录	找回密码
密码			加入会员