passone1 发表于 2013-11-19 11:17:43

要是分析过的一级网址也能记录入库并分析是否重复

就好了。分析网址过多，也会被屏。结果之前的分析全部作废，每次都得重新开始。

而最终网址处理得比较好，会检查是否重复。

另外，现在有选项，网址重复几条就停止。

我想，给个选项：采集错误几条就停止。应该很容易实现。而且非常实用！

页: [1]
查看完整版本: 要是分析过的一级网址也能记录入库并分析是否重复