火车采集器软件交流官方论坛's Archiver
论坛
›
采集器基础使用讨论区
› 如何避免重复采集网址
xia4717237
发表于 2013-6-1 15:51:21
如何避免重复采集网址
我一个规则第一次采集了几十万条数据了,过几天后我想采集这个网站的最新数据,怎么办?
试了下重新采集,要再一次检测每个网址,这样的话,检测重复的时间都得好长!
跪求各位高手帮帮忙!
303718
发表于 2013-6-1 16:04:02
一般都有列表的吧。你只采前面的列表就行了。
江南0920
发表于 2013-6-3 17:56:35
那么如果一天之内采集N次,如何确定采集的数据不重复呢?
页:
[1]
查看完整版本:
如何避免重复采集网址