为何已经设置检测重复网址还会重复采集？

嗯嗯 · 发表于 2017-6-21 06:57:27

在排除重复设置中已经设置好检测重复网址为何采集回来的数据还有重复的，已经检查过，确定是采集内容页地址都是一样的。。。。

大力水手 · 发表于 2017-6-21 08:29:10

我的也是升级最新的就出现这个情况，搞了一晚上

leweizxl · 发表于 2017-6-21 08:56:17

已经反馈给技术处理了

嗯嗯 · 发表于 2017-6-21 09:33:32

大力水手发表于 2017-6-21 08:29
我的也是升级最新的就出现这个情况，搞了一晚上

我是昨天晚上升级了一下，但是看数据，没升级之前都有这个问题，我正在网站后台批量删除，愁死人了，这样对收录超级不好~~~

嗯嗯 · 发表于 2017-6-21 09:34:37

leweizxl 发表于 2017-6-21 08:56
已经反馈给技术处理了

好的，希望尽快处理，谢谢！

challey · 发表于 2017-6-23 18:41:17

我也是，还有，希望加入标题重复检测这个功能，与url重复检测在一个层面的那种，意思是与任务全部采集结果数据库比对，而不是当前采集任务内的局部比较。

为何已经设置 检测重复网址 还会重复采集？