cindy_yu 发表于 2016-9-19 07:52:52

采集过程中突然断电,如何继续接着之前的采集?

请教各位大家一个操作问题:

任务正在采集(2000页,100000条记录),突然断电。重新打开电脑后,如何接着之前的任务继续采集?

我尝试了2个方法:
1)直接点击运行。然后,新任务运行,重新分析2000页起始网址,重新采集100000条内容页地址,只是去掉断电前采集的重复内容页地址。

2)打开DATA文件夹,找到昨天下载的access文件,用EXCEL打开。可以看到已经下载的数据,我手动复制出来。然后,更改起始页地址(比如已经下载了800页,那么起始地址就从801页开始),从新页面开始采集。最后,把2次采集的数据手动汇合就好。

第1)种方法,很浪费时间,等于重新采集了一遍。第2)种方法,万一原数据网站数据更新,某些页数据记录跟昨天不同了,就会出现采集误差。

请问,各位有没有更好的方法。多谢指教。

qwaszx18 发表于 2016-9-19 11:08:48


~~~
如果运行规则不多,可以修改起始页地址
任务右键查看本地数据,然后看看有多少条,每页显示多少天,大约计算出多少页,从这个页数开始采集
采集 url也不是很费劲,但是注意需要打开重复网址检测~~
页: [1]
查看完整版本: 采集过程中突然断电,如何继续接着之前的采集?