lovehere 发表于 2008-5-18 20:50:45

请教大家关于采集任务的问题

有个网站需要采集10万网址的数据。我在采集时发现：如果任务里的网址大于4000条时就会死机，无法成功采集。如果任务的网址数小于4000就可以正常采集。

如果我采集完一个任务再设置下一个任务继续采集，这样太累了，起码要手工干预25次。

请问：我能不能一次设置25个任务（同一个站点），然后先进行第一个任务4000条网址，第一个任务完成后自动进行第二个任务的采集，然后自动进行第3，第4。。。。。个任务。

我应该怎么做才可以不需要干预那么多次就可以采集完所有的数据？

谢谢大家的指教？

lovehere 发表于 2008-5-18 21:55:54

可以在一个站点下设置多个任务，然后让这些任务一个接一个的自动进行吗？

不是指多个任务同时进行，而是指一个任务完成了自动进行下一个任务。

lovehere 发表于 2008-5-19 08:51:46

也就是说怎么样在人工干预最少的情况下采集尽量多的数据。

lovehere 发表于 2008-5-20 12:39:26

谢谢大家的指教.:(

lovehere 发表于 2008-5-20 19:55:04

期待大家的指导！！！！！！

lovehere 发表于 2008-5-20 23:01:52

继续期待大家的指导！！！！！！

lovehere 发表于 2008-5-21 16:08:58

继续期待大家ali16ls

xiongyujie37 发表于 2008-5-21 18:17:25

楼主 我跟你说 你可以分段采集的
你分成每段1万都可以的

你采集的时候夜晚来，开机一夜晚，火车那是假死

我实验过的，我一次最多的时候成功采集1W5 ，开机一夜晚


我是845的电脑，你的电脑总应该比我好吧！

lovehere 发表于 2008-5-21 22:07:17

原帖由 xiongyujie37 于 2008-5-21 18:17 发表 http://bbs.locoy.com/images/common/back.gif
楼主 我跟你说 你可以分段采集的
你分成每段1万都可以的

你采集的时候夜晚来，开机一夜晚，火车那是假死

我实验过的，我一次最多的时候成功采集1W5 ，开机一夜晚


我是845的电脑，你的电脑总应该比我好吧 ...
谢谢你！我先一次采1万试试

[ 本帖最后由 lovehere 于 2008-5-23 08:45 编辑 ]

lovehere 发表于 2008-5-23 08:46:18

大家一次最多采集多少网址可以成功的？？？
页: [1] 2
查看完整版本: 请教大家关于采集任务的问题