关于火车头多网站采集标题重复的解决方法探讨

yhvwcn

首先感谢wight3提供的DZX1采集发布模块，地址：    http://bbs.locoy.com/spider-51395-1-1.html

在测试中有些问题，都是自己没有注意，经查后，自己一一解决，现在能很好的使用

不过小站的数据来自多个网站，这样一来难免有重复的标题与内容

不知哪位朋友有解决方法，当任务A站采集后，再采集B站时有效避免采集同标题文章及内容