zc2097 发表于 2007-12-15 12:35:40

火车头是否能够实现递归采集的功能?

如一个网站有1级分类、2级分类...N级分类-〉列表页面-〉内容页面
不知道火车头能否实现采集这些分类并保存到数据库,然后递归采集页面。
因为递归采集的数据量很大,我用了很多采集程序,但感觉火车头的效率是最高的.
不知道有没有办法实现,我用SK采集改了一个递归的模型,但效率实在是太低了。

杨大爷 发表于 2007-12-15 12:36:20

按理说是可以实现的!

zc2097 发表于 2007-12-15 12:47:23

恩,不知道火车头现在的版本如何实现

wohense 发表于 2007-12-15 19:05:29

留下记号

vus520 发表于 2007-12-16 18:59:18

我做过这样的测试,先采集网站栏目列表,作为内容采集,然后保存为列表地址!
这一步很简单,采集列表地址时要采集分页数,然后手动修改列表地址参数,可以用Asp修改,这个简单!

至于采集内容,呵呵,就更加简单了!

入库要复杂一些,但是好好通过修改发布的ID就没有问题!

zc2097 发表于 2007-12-16 19:09:55

我主要是想采集出来的数据有一定的关联性,如大分类-〉子分类-〉到文章
火车头里找了很久,发现不行。只能用sk改了一个程序,然后开着3个一起采
效率还算新,采完后再进行数据转换
页: [1]
查看完整版本: 火车头是否能够实现递归采集的功能?