请教大家关于采集任务的问题

lovehere · 发表于 2008-5-18 20:50:45

有个网站需要采集10万网址的数据。我在采集时发现：如果任务里的网址大于4000条时就会死机，无法成功采集。如果任务的网址数小于4000就可以正常采集。

如果我采集完一个任务再设置下一个任务继续采集，这样太累了，起码要手工干预25次。

请问：我能不能一次设置25个任务（同一个站点），然后先进行第一个任务4000条网址，第一个任务完成后自动进行第二个任务的采集，然后自动进行第3，第4。。。。。个任务。

我应该怎么做才可以不需要干预那么多次就可以采集完所有的数据？

谢谢大家的指教？

lovehere · 发表于 2008-5-18 21:55:54

可以在一个站点下设置多个任务，然后让这些任务一个接一个的自动进行吗？

不是指多个任务同时进行，而是指一个任务完成了自动进行下一个任务。

lovehere · 发表于 2008-5-19 08:51:46

也就是说怎么样在人工干预最少的情况下采集尽量多的数据。

lovehere · 发表于 2008-5-20 12:39:26

谢谢大家的指教.

lovehere · 发表于 2008-5-20 19:55:04

期待大家的指导！！！！！！

lovehere · 发表于 2008-5-20 23:01:52

继续期待大家的指导！！！！！！

lovehere · 发表于 2008-5-21 16:08:58

继续期待大家

xiongyujie37 · 发表于 2008-5-21 18:17:25

楼主我跟你说你可以分段采集的
你分成每段1万都可以的

你采集的时候夜晚来，开机一夜晚，火车那是假死

我实验过的，我一次最多的时候成功采集1W5 ，开机一夜晚

我是845的电脑，你的电脑总应该比我好吧！

lovehere · 发表于 2008-5-21 22:07:17

原帖由 xiongyujie37 于 2008-5-21 18:17 发表
楼主我跟你说你可以分段采集的
你分成每段1万都可以的

你采集的时候夜晚来，开机一夜晚，火车那是假死

我实验过的，我一次最多的时候成功采集1W5 ，开机一夜晚

我是845的电脑，你的电脑总应该比我好吧 ...

谢谢你！我先一次采1万试试

[ 本帖最后由 lovehere 于 2008-5-23 08:45 编辑 ]

lovehere · 发表于 2008-5-23 08:46:18

大家一次最多采集多少网址可以成功的？？？

帐号		自动登录	找回密码
密码			加入会员