郁闷，不知道什么问题，经常会重复采集，网址库貌似没用。

cudd@163.com · 发表于 2012-12-27 21:18:42

网址库是不是没有用啊？经常识别不了采集过的地址。
重复采好几次。
1，网址库内保存的url地址的md5()值，老早就保存了的。
2，不同次数去采，遇到重复地址竟然不过滤，又采一次两次的。

检查过好几次，经常判断不了网址库内的，是不是程序对同一url地址的md5每次得到的值是不同的？或者这一些数组发生读取错误？

当然，大多数情况这个地址库是管用的，就是不知道怎么回事不能完全过滤，就算url库够大，也不会大到md5都重复的情况吧，我的网址库内只有不到200条记录。。。。。

怎么回事啊？好多重复的，小文同学解决一下吧。。。。

cudd@163.com · 发表于 2012-12-27 21:32:13

如果一个网址出现在utf-8编码的网页上，也出现在gb2312编码的网页上，是不是他们的md5()值不同呢？不像是这个原因导致的吧？

cudd@163.com · 发表于 2012-12-27 22:27:31

本帖最后由 cudd@163.com 于 2012-12-28 10:29 编辑

传统，上图。采集地址的网址库无效了。。。。重复采集。晕乎乎了

话说，奇怪了，只有重复两次的，却没有重复三次或者三次以上的。。。。

caziyo · 发表于 2012-12-28 10:59:49

我来看看，联系此qq:151618302

帐号		自动登录	找回密码
密码			加入会员

郁闷，不知道什么问题，经常会重复采集，网址库貌似没用。

本帖子中包含更多资源