火车采集器软件交流官方论坛

 找回密码
 加入会员
搜索
火车采集器V9版免费下载火车浏览器 - 可视采集,万能群发,全自动脚本工具
查看: 3724|回复: 3

如何排除重复的内容---不是一般的重复!

[复制链接]
发表于 2010-7-27 18:24:53 | 显示全部楼层 |阅读模式
我采集某个分类信息网时,因为那个网站上的注册者可以把自己的信息进行更新,更新后内容是一样,但是却形成了新的网址,所以每次采集的时候,都采集不同的网址,但是内容却相同,造成信息的重复和空间的浪费,有没有设置排除内容相同的功能开发????
发表于 2010-7-27 18:51:38 | 显示全部楼层
火车有一个内容比队的功能  在标签设置里 比如你的 规则有 两个标签
  标题和内容 在标题标签里设置 改内容不得重复,那么采集的时候就会对内容进行 比对,如果重复了就不会 采集或发布,呵呵。
  位置 自己仔细在标签里寻找 很好找。
 楼主| 发表于 2010-7-27 20:58:54 | 显示全部楼层
感谢您的回复,我试一下。现在又出现重复网址的内容,又自动发布了。
发表于 2016-2-8 23:11:46 | 显示全部楼层
和你们一块学习。。。
您需要登录后才可以回帖 登录 | 加入会员

本版积分规则

QQ|手机版|Archiver|火车采集器官方站 ( 皖ICP备06000549 )

GMT+8, 2025-9-6 16:23

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表