建议不要重复检测已采集的网址
采集网址的时候，有些网址采集不成功，就需要重新采集一次网址。但是采集网址每次都是所有的网址都重新检测的，能不能像采集内容那样子，如果一级网址已采集过的话，就不再检测二级网址了，或者能否根据数据库的网址记录直接跳过已采集过的一级网址，这样可以快点。因为二级网址很多，每次都检测已采集的二级网址，需要好多时间。 这里可以设置的呢 这个是直接如果重复，会跳过所有的网址采集的 例如，如果我的第一个二级网址重复了，会跳过所有的网址采集，采集内容的 303718 发表于 2012-6-7 10:51 static/image/common/back.gif这里可以设置的呢
这个是直接如果有一个一级网址重复了，就会跳过所有的网址采集的 支持火车。。。。历史帖子回顾中。
页:
[1]