关于大量批量采集

ccczqh

我在采集一个网站的文章。其中一个板块有10万多篇帖子。我可以一天才给我不完，我采集一部分之后把火车头关闭了，然后第二天继续采集，当第二天采集的时候发现过滤以前的采集地址就过滤了1天。然后才能发帖子。咨询下火车头在什么地方可以设置我采集了之后今天到此为止，明天可以从这个点上继续发文章呢？
我是用的在线发不到网站上，不在本地保存数据！
        还有个问题就是火车头在在运行一段时间之后占用内存不释放！最后虚拟内存都不够用了！只能死机！希望下版本能解决下！我用的发布方式是在线发布！不是保存本地！

xyyfx

一下子采10万，太多了！贪心啊！ 一点一点来!

wenlh

当第二天采集的时候发现过滤以前的采集地址就过滤了1天:L
强

天毅

分页吧
十页 采集完改改规则再继续
这样太贪心了吧？

垃圾狗

一万就很勉强了，我基本5000，5000采集。

bbswin

我说呢，我采集了一个几十万网址的，一天下来网址还没采完，看来要分别采才行