火车头采集问题

clj1111111111 · 发表于 2009-9-25 10:01:29

我用的是火车头V2009SP4企业版。最近老是出现一个问题，在任务中测试采集网址都是正常的（我做的是500个一级网址，每一个一级网址都有40个二级网址）；正式采集的时候就出现采了几十个一级网址之后就直接入库了，后面的四百多个就都没采了。特别是任务做多的时候更是这样。这样是什么原因，要怎么解决？？请各位帮帮忙。
还有。。想了解一下。在正常采集时要多少时间停一次，因为有时做的任务，采上一个星期都采不完，但是总发现。采了两天后火车头就会出错。
请给出一个采集的方案，比如说，一个任务做多少个网址啊，一个火车头做多少个任务啊，同时开多少个任务才合适啊之类的。

主要是第一个问题，几百个网址就采了几十个网址。火车友们。给点指示！！！谢了

火车头 · 发表于 2009-9-25 10:22:22

您的任务发上来看一下。应该不会只采前面几十个一级网址。

rq204 · 发表于 2009-9-25 10:22:51

第一个问题,请检查一下是否选了检测重复网址,同时在全局选项设置里又设置了重复多少条后不再采集.
如果需要长期采集,一般同一个网站的采集同时开一个任务比较好.时间间隔长一些比较好,采集太快容易出问题.

clj1111111111 · 发表于 2009-9-25 11:06:21

这加不是几十个。是一百多个。

clj1111111111 · 发表于 2009-9-25 11:11:08

不过我这边是开了三个任务再采的。我只要快。少几个数据或是错几个数据无所谓，问题是少了太多了。
还有。我另外有一个机器也在采，就不会出现在个问题。你看一下，是不是任务的问题。

clj1111111111 · 发表于 2009-9-26 10:15:03

领父老去。无人回

帐号		自动登录	找回密码
密码			加入会员

火车头采集问题

本帖子中包含更多资源

浏览过的版块