发现一个奇怪的问题，1+1不等于2
我在采集网址的时候，因为一个网站有很多板块，我发现一次过添加并进行采集网址，到了后面会越来越慢，但是如果我每采集完一个板块再采集另外一个板块，这样速度会非常快，我觉得是火车头的代码有问题，可能是资源没释放出来。
例如，我采集200页的网址，如果一次过采集200页，也许需要10分钟
如果我先采集100页，采集完之后再添加另外的100页网址进去进行采集（前面100页已经被我删除掉，防止重复采集），这样也许只需要5分钟的样子，
请管理员解释一下 应该不会吧 ，我觉得 是你采集的网站的流量、数据库承受能力等不够 。你试试 采集150页 的时候打开他们的网页是否会慢。 楼上正解，很多方面的，不一定是火车头的事啊，
页:
[1]