caijihome 发表于 2013-12-14 23:43:34

同一个规则越采集越慢，线程无法控制的原因。

采集一个图片站，已经下载6W（下载表6W，记录表几千）张了。发现越来越慢，结果把规则导出，重新导入新的火车头，发现速度快了许多。

旧的软件里面用的是ACCESS数据库，总的也不大，才一百多M， 就是慢的要死，半分钟采集一个商品。
中间要停留半分钟才下载另外一个商品图片。 即便我把线程调最大，就跟不管用似的。 线程好像一直是固定的（半分钟一线程），等我 重新下载个火车头导入，刚采集，速度却好像很正常。

请问火车头是不是在检查着什么！！

rq204 发表于 2013-12-20 11:28:01

空数据库写数据和100m的写数据，效率是不一样的，特别是Access上。这个你可以自己试一下的。

lbjyuer 发表于 2016-2-10 11:35:20

支持火车。。。。历史帖子回顾中。
页: [1]
查看完整版本: 同一个规则越采集越慢，线程无法控制的原因。