我需要对重复地址进行采集要怎么做

newsfcn · 发表于 2009-4-30 17:48:32

我采集一个电影下载站的内容，由于连续剧资源剧集的更新是在原地址下面添加新的一集下载地址，就需要对该地址进行重复采集，如何做到对这些地址进行重复采集。
比如：我要采集的地址是http://www.abc.com/123.html
这个地址3天前已经采集过了，但是今天这个页面又更新了新内容了，我需要对他进行重复采集，火车头会跳过重复的地址，因为只需要对这个地址重复采集，所以软件里的批量重采不适合使用

水杯子 · 发表于 2009-5-1 08:23:40

根据图文进行设置!

coody · 发表于 2009-5-3 22:16:24

学习了!!!!!!!!!!!!!

xyz5200 · 发表于 2009-5-6 15:01:16

帐号		自动登录	找回密码
密码			加入会员

我需要对重复地址进行采集要怎么做

本帖子中包含更多资源