想要重复采集应该怎么做呢???

vbskycn · 发表于 2009-11-3 15:07:42

本帖最后由 vbskycn 于 2009-11-3 15:16 编辑

http://www.xixiwg.com/Soft/22534.html

比如向上面的这个页面,今天是1.13版的软件, 过两天就更新到1.14了

但是源网页的页面地址没有变

采集器就采集不到1.14新版的软件了,请教下应该怎么做才能采每天最新的软件呢

我只想做到只要源网站更新了软件,不管它的源地址有没有变,只要标题变了,我就重新采集民布

vbskycn · 发表于 2009-11-3 15:22:04

本帖最后由 vbskycn 于 2009-11-3 15:27 编辑

规则都好了,就是不知道要更新源网站的最新软件要怎么样做

一天搞了200多个任务,手都累了,眼睛也酸了

搞好后才发现源网站的软件更新后url地址是不会变的

那么多的任务不能自动更新,就没用了,不甘心

现在有个想法----把采集数定为10个软件,重复采集,在网站后台设置标题重复不能发布
不知道这样行不行

还有就是不知道怎么让火车头重复采集

任外只求个思路,谢谢

rq204 · 发表于 2009-11-3 18:17:21

这种的可以这样试下，在采网址部分不要设置检测重复，然后在你网站上修改程序，对采集器提交上来的数据进行检测，如果是新的，就进行添加。如果是以前的数据有更新，就更新数据。

vbskycn · 发表于 2009-11-4 12:03:13

已经通过这种方案了，就是采集器的工作量大了点

200多个任务每次全部都要重新采集

不过总算是达到我的要求了

帐号		自动登录	找回密码
密码			加入会员