14 12
发新话题
打印

[3.2版] 请教大家关于采集任务的问题

请教大家关于采集任务的问题

有个网站需要采集10万网址的数据。我在采集时发现:如果任务里的网址大于4000条时就会死机,无法成功采集。如果任务的网址数小于4000就可以正常采集。

如果我采集完一个任务再设置下一个任务继续采集,这样太累了,起码要手工干预25次。

请问:我能不能一次设置25个任务(同一个站点),然后先进行第一个任务4000条网址,第一个任务完成后自动进行第二个任务的采集,然后自动进行第3,第4。。。。。个任务。

我应该怎么做才可以不需要干预那么多次就可以采集完所有的数据?

谢谢大家的指教?

TOP

可以在一个站点下设置多个任务,然后让这些任务一个接一个的自动进行吗?

不是指多个任务同时进行,而是指一个任务完成了自动进行下一个任务。

TOP

也就是说怎么样在人工干预最少的情况下采集尽量多的数据。

TOP

谢谢大家的指教.

TOP

期待大家的指导!!!!!!

TOP

继续期待大家的指导!!!!!!

TOP

继续期待大家

TOP

楼主 我跟你说 你可以分段采集的
你分成每段1万都可以的

你采集的时候夜晚来,开机一夜晚,火车那是假死

我实验过的,我一次最多的时候成功采集1W5 ,开机一夜晚


我是845的电脑,你的电脑总应该比我好吧!
我希望有一天我能用鼠标双击我的钱包,然后选中一张100元,按住"Ctrl+C"接着不停地"Ctrl+V"呀@_@~~====

TOP

引用:
原帖由 xiongyujie37 于 2008-5-21 18:17 发表
楼主 我跟你说 你可以分段采集的
你分成每段1万都可以的

你采集的时候夜晚来,开机一夜晚,火车那是假死

我实验过的,我一次最多的时候成功采集1W5 ,开机一夜晚


我是845的电脑,你的电脑总应该比我好吧 ...
谢谢你!我先一次采1万试试

[ 本帖最后由 lovehere 于 2008-5-23 08:45 编辑 ]

TOP

大家一次最多采集多少网址可以成功的???

TOP

 14 12
发新话题
Powered by Discuz! 6.0.0  © 2001-2007 Comsenz Technology Ltd
Processed in 0.169986 second(s), 6 queries, Gzip enabled
当前时区 GMT+8, 现在时间是 2008-7-6 05:12 皖ICP备06000549 清除 Cookies - 联系我们 - 火车采集器官方站 - 静态归档 - WAP