建议不要重复检测已采集的网址

ming142007 · 发表于 2012-6-7 10:42:31

采集网址的时候，有些网址采集不成功，就需要重新采集一次网址。但是采集网址每次都是所有的网址都重新检测的，能不能像采集内容那样子，如果一级网址已采集过的话，就不再检测二级网址了，或者能否根据数据库的网址记录直接跳过已采集过的一级网址，这样可以快点。因为二级网址很多，每次都检测已采集的二级网址，需要好多时间。

303718 · 发表于 2012-6-7 10:51:02

这里可以设置的呢

ming142007 · 发表于 2012-6-7 11:10:54

这个是直接如果重复，会跳过所有的网址采集的

ming142007 · 发表于 2012-6-7 11:11:41

例如，如果我的第一个二级网址重复了，会跳过所有的网址采集，采集内容的

ming142007 · 发表于 2012-6-7 11:14:49

303718 发表于 2012-6-7 10:51
这里可以设置的呢

这个是直接如果有一个一级网址重复了，就会跳过所有的网址采集的

lbjyuer · 发表于 2016-2-10 19:10:15

支持火车。。。。历史帖子回顾中。

建议不要重复检测已采集的网址

本帖子中包含更多资源