怎么采集多网站而内容不能重复

d滴滴d · 发表于 2015-10-21 20:15:12

我想要几个网站一起采集,这就避免不了会有相同的文章,想问下怎么才能确保采集不出现重复的内容

303718 · 发表于 2015-10-22 08:18:04

在发布接口里加入检测到重复不发布的功能

kuhabe · 发表于 2015-10-22 13:59:00

数据库标题字段设置唯一不得重复

d滴滴d · 发表于 2015-10-22 20:05:10

kuhabe 发表于 2015-10-22 13:59
数据库标题字段设置唯一不得重复

但是每个任务采集存储的数据表不是同一个啊

303718 · 发表于 2015-10-23 08:54:35

是你网站的数据库设成不得重复。重复的他就发不进去了呢

老雷 · 发表于 2015-10-25 01:12:01

同意楼上的看法。
别给火车软件太多的负担，这样速度会变慢。建议在最终的数据库着手处理。

帐号		自动登录	找回密码
密码			加入会员