xia4717237 发表于 2013-6-1 15:51:21

如何避免重复采集网址

我一个规则第一次采集了几十万条数据了,过几天后我想采集这个网站的最新数据,怎么办?
试了下重新采集,要再一次检测每个网址,这样的话,检测重复的时间都得好长!
跪求各位高手帮帮忙!

303718 发表于 2013-6-1 16:04:02

一般都有列表的吧。你只采前面的列表就行了。

江南0920 发表于 2013-6-3 17:56:35

那么如果一天之内采集N次,如何确定采集的数据不重复呢?
页: [1]
查看完整版本: 如何避免重复采集网址