火车头是否能够实现递归采集的功能?
如一个网站有1级分类、2级分类...N级分类-〉列表页面-〉内容页面不知道火车头能否实现采集这些分类并保存到数据库,然后递归采集页面。
因为递归采集的数据量很大,我用了很多采集程序,但感觉火车头的效率是最高的.
不知道有没有办法实现,我用SK采集改了一个递归的模型,但效率实在是太低了。 按理说是可以实现的! 恩,不知道火车头现在的版本如何实现 留下记号 我做过这样的测试,先采集网站栏目列表,作为内容采集,然后保存为列表地址!
这一步很简单,采集列表地址时要采集分页数,然后手动修改列表地址参数,可以用Asp修改,这个简单!
至于采集内容,呵呵,就更加简单了!
入库要复杂一些,但是好好通过修改发布的ID就没有问题! 我主要是想采集出来的数据有一定的关联性,如大分类-〉子分类-〉到文章
火车头里找了很久,发现不行。只能用sk改了一个程序,然后开着3个一起采
效率还算新,采完后再进行数据转换
页:
[1]