降低内存占有,提高采集速度的有效解决办法
我们知道,从某种意义上来说,火车头还是比较占用内存的.我添加了5个任务,每个任务设置为0级任务,10000个文件. 同时开采地址,采文件,内存消耗150M.
对于我的1G内存来说,自然不算大.但是我注意到数据库均为锁定状态,而火车头任务界面也长期停留在"正在分析页面"状态,且每个分析达到5-10秒.这是一个很不正常的状况.
如果网速慢的话,应该停留在"正在采集内容页",为什么这里是正在分析页面呢?这说明,我们的软件对任务的工作忙不过来了.
有没有更好的降低内存,提高分析速度的办法呢?
经过一番折腾,终于找出了对应的解决办法.
A采网址 :专门采网址,不要选采内容,发内容.这样,可以迅速采集网址完毕.
B,采内容. A步骤进行完毕以后,不要急于采内容.先关闭软件,释放内存.然后再启动软件,去掉采网址,添加采内容.
经过这样一折腾.我的内存占有量从150M降至46M.CPU占有量从原来的46%降至4%.分析页面速度大大提高,ACCESS数据库上那把令人烦心的锁也消失了.
没有编写软件的经验,但是从理论上分析,应该是再采网址的时候,内存没有释放.采页面的时候,要在内存和数据库读写之间均衡.所以效率下降.
小文没什么水平,一点经验,与大家共享. 我晕～～～～这个方法从一开始偶就注意了～～偶从不三个全开，最后让采址与采容一起来。
页:
[1]