ccczqh 发表于 2007-4-26 17:04:09

关于大量批量采集

我在采集一个网站的文章。其中一个板块有10万多篇帖子。我可以一天才给我不完，我采集一部分之后把火车头关闭了，然后第二天继续采集，当第二天采集的时候发现过滤以前的采集地址就过滤了1天。然后才能发帖子。咨询下火车头在什么地方可以设置我采集了之后今天到此为止，明天可以从这个点上继续发文章呢？
我是用的在线发不到网站上，不在本地保存数据！
      还有个问题就是火车头在在运行一段时间之后占用内存不释放！最后虚拟内存都不够用了！只能死机！希望下版本能解决下！我用的发布方式是在线发布！不是保存本地！

xyyfx 发表于 2007-4-26 17:48:19

一下子采10万，太多了！贪心啊！:lol 一点一点来!

wenlh 发表于 2007-4-26 19:34:48

当第二天采集的时候发现过滤以前的采集地址就过滤了1天:L
强

天毅 发表于 2007-4-26 22:26:43

分页吧
十页 采集完改改规则再继续
这样太贪心了吧？

垃圾狗 发表于 2007-4-28 00:15:24

一万就很勉强了，我基本5000，5000采集。

bbswin 发表于 2008-2-27 23:58:08

我说呢，我采集了一个几十万网址的，一天下来网址还没采完，看来要分别采才行
页: [1]
查看完整版本: 关于大量批量采集