千万级别的数据采集

wmdly

千万级别的数据，用火车头采集，如何解决呢？   鄙人使用的是企业版。
采集一部分后，停止，下次再开启的时候，就会提示待采集网址数为0  待发布文章为0
然后要修复mysql数据库后才能继续……

wanghaibo

目前好像是存在运行6.7小时以上时会崩溃，我的就这样，要经常关闭重启
估计主要的原因是可能是由于内存不能自动释放
我使用内存自动整理软件后，能适当延长运行时间，但基本没有超过10小时的