火车头是否能够实现递归采集的功能？

zc2097 · 发表于 2007-12-15 12:35:40

如一个网站有1级分类、2级分类...N级分类-〉列表页面-〉内容页面
不知道火车头能否实现采集这些分类并保存到数据库，然后递归采集页面。
因为递归采集的数据量很大，我用了很多采集程序，但感觉火车头的效率是最高的.
不知道有没有办法实现，我用SK采集改了一个递归的模型，但效率实在是太低了。

杨大爷 · 发表于 2007-12-15 12:36:20

按理说是可以实现的!

zc2097 · 发表于 2007-12-15 12:47:23

恩，不知道火车头现在的版本如何实现

wohense · 发表于 2007-12-15 19:05:29

留下记号

vus520 · 发表于 2007-12-16 18:59:18

我做过这样的测试,先采集网站栏目列表,作为内容采集,然后保存为列表地址!
这一步很简单,采集列表地址时要采集分页数,然后手动修改列表地址参数,可以用Asp修改,这个简单!

至于采集内容,呵呵,就更加简单了!

入库要复杂一些,但是好好通过修改发布的ID就没有问题!

zc2097 · 发表于 2007-12-16 19:09:55

我主要是想采集出来的数据有一定的关联性，如大分类-〉子分类-〉到文章
火车头里找了很久，发现不行。只能用sk改了一个程序，然后开着3个一起采
效率还算新，采完后再进行数据转换

帐号		自动登录	找回密码
密码			加入会员