如何避免重复采集网址

xia4717237 · 发表于 2013-6-1 15:51:21

我一个规则第一次采集了几十万条数据了，过几天后我想采集这个网站的最新数据，怎么办？
试了下重新采集，要再一次检测每个网址，这样的话，检测重复的时间都得好长！
跪求各位高手帮帮忙！

303718 · 发表于 2013-6-1 16:04:02

一般都有列表的吧。你只采前面的列表就行了。

江南0920 · 发表于 2013-6-3 17:56:35

那么如果一天之内采集N次，如何确定采集的数据不重复呢？

帐号		自动登录	找回密码
密码			加入会员