d滴滴d 发表于 2015-10-21 20:15:12

怎么采集多网站而内容不能重复

我想要几个网站一起采集,这就避免不了会有相同的文章,想问下怎么才能确保采集不出现重复的内容

303718 发表于 2015-10-22 08:18:04

在发布接口里加入检测到重复不发布的功能

kuhabe 发表于 2015-10-22 13:59:00

数据库标题字段设置唯一 不得重复

d滴滴d 发表于 2015-10-22 20:05:10

kuhabe 发表于 2015-10-22 13:59
数据库标题字段设置唯一 不得重复

但是每个任务采集存储的数据表不是同一个啊

303718 发表于 2015-10-23 08:54:35

是你网站的数据库设成不得重复。重复的他就发不进去了呢

老雷 发表于 2015-10-25 01:12:01

同意楼上的看法。
别给火车软件太多的负担，这样速度会变慢。建议 在最终的数据库着手处理。
页: [1]
查看完整版本: 怎么采集多网站而内容不能重复