火车头采集问题
我用的是火车头V2009SP4企业版。最近老是出现一个问题,在任务中测试采集网址都是正常的(我做的是500个一级网址,每一个一级网址都有40个二级网址);正式采集的时候就出现采了几十个一级网址之后就直接入库了,后面的四百多个就都没采了。特别是任务做多的时候更是这样。这样是什么原因,要怎么解决??请各位帮帮忙。还有。。想了解一下。在正常采集时要多少时间停一次,因为有时做的任务,采上一个星期都采不完,但是总发现。采了两天后火车头就会出错。
请给出一个采集的方案,比如说,一个任务做多少个网址啊,一个火车头做多少个任务啊,同时开多少个任务才合适啊之类的。
主要是第一个问题,几百个网址就采了几十个网址。火车友们。给点指示!!!谢了 您的任务发上来看一下。应该不会只采前面几十个一级网址。 第一个问题,请检查一下是否选了检测重复网址,同时在全局选项设置里又设置了重复多少条后不再采集.
如果需要长期采集,一般同一个网站的采集同时开一个任务比较好.时间间隔长一些比较好,采集太快容易出问题. 这加不是几十个。是一百多个。 不过我这边是开了三个任务再采的。我只要快。少几个数据或是错几个数据无所谓,问题是少了太多了。
还有。我另外有一个机器也在采,就不会出现在个问题。你看一下,是不是任务的问题。 领父老去。无人回
页:
[1]