不能检测重复网址！！！！！

fws250 · 发表于 2017-7-9 20:36:17

采集赶集的时候可以检测重复网址，但是采集58同城时候就不会检测重复网址了，每次都会采集呢？？？？

leweizxl · 发表于 2017-7-10 08:41:08

检查下规则是否开启检查网址重复

fws250 · 发表于 2017-7-10 09:24:00

leweizxl 发表于 2017-7-10 08:41
检查下规则是否开启检查网址重复

开启了，采集赶集网会检测重复网址，但是58不行。

leweizxl · 发表于 2017-7-10 09:55:38

fws250 发表于 2017-7-10 09:24
开启了，采集赶集网会检测重复网址，但是58不行。

确定下是否做发布后设置了或者是内容相同网址不同的情况

fws250 · 发表于 2017-7-10 10:40:39

如图。。。。。。。。。。。。

fws250 · 发表于 2017-7-10 10:41:59

本帖最后由 fws250 于 2017-7-10 10:43 编辑

leweizxl 发表于 2017-7-10 09:55
确定下是否做发布后设置了或者是内容相同网址不同的情况

楼下有图示。。。。。。。

fws250 · 发表于 2017-7-10 10:51:39

发现问题了，58的内容一样的，但是网址却有变化。

fws250 · 发表于 2017-7-10 10:59:51

不是网站的问题，是采集器每次分析得到的网址都不一样呢？但是内容是一样的

leweizxl · 发表于 2017-7-10 11:21:27

fws250 发表于 2017-7-10 10:40
如图。。。。。。。。。。。。

可以设置内容重复过滤设置

fws250 · 发表于 2017-7-10 11:32:17

leweizxl 发表于 2017-7-10 11:21
可以设置内容重复过滤设置

有没有办法直接把网址直接过滤掉，在采集数据的步骤过滤很浪费时间。