建议采集重复网址更改的更智能和人性一点

998877 · 发表于 2009-5-23 10:40:02

建立一个采集站点，下有N个采集规则（每个规则对应网站的一个栏目）时，当想让相同的内容在N个栏目上同时出现时，，采集规则就会过滤掉重复网址，不再重复采集，造成不能在多个栏目同是上传，

如去掉采集重复选项，，虽可以同进上传到网站上多个栏目，，，，但在几天后再想采集新更新的内容时，就会把老内容又采集发布一下，造成单个栏目下的内容重复

····所以说，要是能把每个站点下的每个规则者单独保存成一个数据库，比对时也只和这一个数据库比对，这样不仅减小了单个数据库的大小，提高了速度，还能满足多个栏目有相同内容时不被滤掉 ····
这是一点建议，要是采纳的话，最好加上人性化的选项功能就是说可以通过使用者的选择使程序确定是和整个站的数据比对还是只和本栏目的数据比对

rq204 · 发表于 2009-5-23 10:53:40

站点的存在的一个方面是为了方便网址过滤这块,按你这样说,如果要在同一站点下进行网址对比,对不是要同时打开n个数据库了?

lbjyuer · 发表于 2016-2-9 09:35:29

爪，以后学习下。。

帐号		自动登录	找回密码
密码			加入会员