火车采集器软件交流官方论坛

 找回密码
 加入会员
搜索
火车采集器V9版免费下载火车浏览器 - 可视采集,万能群发,全自动脚本工具
查看: 3848|回复: 1

采集过程中突然断电,如何继续接着之前的采集?

[复制链接]
发表于 2016-9-19 07:52:52 | 显示全部楼层 |阅读模式
请教各位大家一个操作问题:

任务正在采集(2000页,100000条记录),突然断电。重新打开电脑后,如何接着之前的任务继续采集?

我尝试了2个方法:
1)直接点击运行。然后,新任务运行,重新分析2000页起始网址,重新采集100000条内容页地址,只是去掉断电前采集的重复内容页地址。

2)打开DATA文件夹,找到昨天下载的access文件,用EXCEL打开。可以看到已经下载的数据,我手动复制出来。然后,更改起始页地址(比如已经下载了800页,那么起始地址就从801页开始),从新页面开始采集。最后,把2次采集的数据手动汇合就好。

第1)种方法,很浪费时间,等于重新采集了一遍。第2)种方法,万一原数据网站数据更新,某些页数据记录跟昨天不同了,就会出现采集误差。

请问,各位有没有更好的方法。多谢指教。
发表于 2016-9-19 11:08:48 | 显示全部楼层

~~~
如果运行规则不多,可以修改起始页地址
任务右键查看本地数据,然后看看有多少条,每页显示多少天,大约计算出多少页,从这个页数开始采集
采集 url也不是很费劲,但是注意需要打开重复网址检测~~
您需要登录后才可以回帖 登录 | 加入会员

本版积分规则

QQ|手机版|Archiver|火车采集器官方站 ( 皖ICP备06000549 )

GMT+8, 2024-11-29 03:58

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表