重复采集的问题

liao365

注册会员

Rank: 1

UID: 864
帖子: 40
活跃度: 22 点
火车车厢: 5 节
注册时间: 2006-2-11

1楼大中小发表于 2006-6-13 00:08 只看该作者

重复采集的问题

[size=-2]现在采集器还不能处理重复采集的问题,没法比较已采集的内容,据说2.0已加加入了这个功能,

我要说的是: 比较已采集的网页是的网址进行比较.建议加入比较新闻标题,这样更实用,只要标题相同的,内容其本是相同的,否则采集新闻的流行,相同标题,来源不同网址的内容,大量出现,给人带来不少麻烦.若能设置一个开关,让用户选择是比较"标题",还是比较"网址",这样就方便了很多,我在FoosunCMS中用采集时,就这样用,原程序是比较网址的,后来本人将其改成比较新闻标题,这样可以到处采,只要发现没有采过的就会自动采回来,感觉很好!