SP3会把有端口号的网址重复采集

ggniao

SP3会把有端口号的网址重复采集。
比如后面加个端口:80 就可能重复采集网址而不会过滤掉有端口的网址 ，会在数据库里显示N条同样的网址，是吗？

303718

不是呢。网址

1. 比如这样的
   
2. bbs.locoy.com：80
   
3. bbs.locoy.com
   
4. 这是两个网址肯定就重复了。

复制代码

kk010203

看看················

http://www.jinhuijiudian.com
http://www.kanshuzhe.com
http://www.xsxs520.com
http://www.jinhuijiudian.com/html/food