wmdly 发表于 2011-10-13 14:43:00

千万级别的数据采集

千万级别的数据，用火车头采集，如何解决呢？   鄙人使用的是企业版。
采集一部分后，停止，下次再开启的时候，就会提示待采集网址数为0待发布文章为0
然后要修复mysql数据库后才能继续……

wanghaibo 发表于 2011-10-17 15:14:30

目前好像是存在运行6.7小时以上时会崩溃，我的就这样，要经常关闭重启
估计主要的原因是可能是由于内存不能自动释放
我使用内存自动整理软件后，能适当延长运行时间，但基本没有超过10小时的
页: [1]
查看完整版本: 千万级别的数据采集