bulaoren 发表于 2009-8-12 05:53:23

如何做到这样采集全站的所有信息分类？

我想根据起始网址的不同特征，实现一次采集全站的所有分类。比如如果起始地址是http://ww.abc.com/def.asp?id=1（化工类）
http://www.abc.com/def.asp?id=2 （机械类）    http://www.abc.ocm/def.asp?id=3 　（矿山类） ..........这样的情况，那么如何才能在采集的规则中区别id的不同值，从而实现采集全部分类呢？
换句话说，火车头能不能在采集规则中调用起始地址的一部分作为采集标志呢？
如果不能，请给出一个适合这种情况的采集方法，谢谢。

pakey 发表于 2009-8-12 07:37:58

如果模板一样的话好说
如果不一样 那么按照楼主所说 以后采集所有网站的内容都可以再一个任务中实现了

bulaoren 发表于 2009-8-12 14:23:06

几位管理员(或版主)有何高见？如何根据起始地址中某一参数的不同值，一次性采集全站的所有分类？(比如起始地址中有一参数ID，如果ID=1，我就将其采入我站的化工设备类，如果ID=2，我就将其采入我站的冶金设备类，等等。)

bulaoren 发表于 2009-8-13 06:02:42

如果能这样，那采集就方便多了。
页: [1]
查看完整版本: 如何做到这样采集全站的所有信息分类？