ggniao 发表于 2011-11-21 10:25:41

SP3会把有端口号的网址重复采集

SP3会把有端口号的网址重复采集。
比如后面加个端口:80 就可能重复采集网址而不会过滤掉有端口的网址 ，会在数据库里显示N条同样的网址，是吗？

303718 发表于 2011-11-21 12:58:46

不是呢。网址比如这样的
bbs.locoy.com：80
bbs.locoy.com
这是两个网址肯定就重复了。

kk010203 发表于 2011-12-6 15:44:25

看看················

http://www.jinhuijiudian.com
http://www.kanshuzhe.com
http://www.xsxs520.com
http://www.jinhuijiudian.com/html/food
页: [1]
查看完整版本: SP3会把有端口号的网址重复采集