可人儿 发表于 2009-10-15 09:59:25

大家是如何排除内容重复的数据？

采集的网站多了，并且都是同一类型的数据，这种情况下，难免有重复的数据产生，火车头只能排除同一任务下内容重复的数据，但对于同一站点下内容重复的数据却不能排除。


故向大家悬赏解决数据重复的问题！无论是在火车头操作还是发布后操作都可以，只要能排除内容重复数据！

孤魂 发表于 2009-10-15 10:33:06

你发布到哪里，从你发布的数据库入手

可人儿 发表于 2009-10-15 10:34:14

我发布到我自己的网站啊 ，在数据库怎么操作恩？ 如果是mysql数据库？

懷念過去↑文 发表于 2009-10-15 11:12:25

MYSQL 给数据库 表 字段 加上唯一引索

可人儿 发表于 2009-10-29 16:28:50

这样可以吗？也许我尝试一下就知道了 也许行 也许不行哦

zoudehuai 发表于 2009-10-31 23:11:12

本地编辑 查找呗@@

可人儿 发表于 2009-11-25 16:25:53

我知道啊 你把火车头给我
页: [1]
查看完整版本: 大家是如何排除内容重复的数据？