newsfcn 发表于 2009-4-30 17:48:32

我需要对重复地址进行采集要怎么做

我采集一个电影下载站的内容，由于连续剧资源剧集的更新是在原地址下面添加新的一集下载地址，就需要对该地址进行重复采集，如何做到对这些地址进行重复采集。
比如：我要采集的地址是http://www.abc.com/123.html
这个地址3天前已经采集过了，但是今天这个页面又更新了新内容了，我需要对他进行重复采集，火车头会跳过重复的地址，因为只需要对这个地址重复采集，所以软件里的批量重采不适合使用

水杯子 发表于 2009-5-1 08:23:40

根据图文进行设置!

coody 发表于 2009-5-3 22:16:24

学习了!!!!!!!!!!!!!

xyz5200 发表于 2009-5-6 15:01:16

{:2_135:}{:3_152:}
页: [1]
查看完整版本: 我需要对重复地址进行采集要怎么做