tomop 发表于 2012-2-21 13:47:14

V7多级网址的采集,请大大指教

V7发布了,很欣喜,尤其是看到多级网址采集很兴奋,快速下载试用了一下,有点失望。。

多级网址是层级导航,级联采集,也不知道是不是我运气不好,还是选择采集的网址有问题,我测试的是起点网站

网址配置了半天,

起始位置
http://all.qidian.com/book/bookstore.aspx?ChannelId=-1&SubCategoryId=-1&Tag=all&Size=-1&Action=5&OrderId=6&P=all&PageIndex=8&update=-1&Vip=-1&Boutique=-1&SignStatus=-1

一级导航应该是http://www.qidian.com/Book/(*).aspx这样,源码的链接是/Book/*.aspx
测试网址的获取结果是 http://all.qidian.com/Book/*.aspx

也没看到有网址规则字符替换,配置的地方,级联采集无效,采集继续不下去了


我用网络矿工(sominer),它的N级导航、级联采集、分层采集都挺好用的,思路也清晰,配置也不复杂,就是需要多用正规,入手条件有点高
页: [1]
查看完整版本: V7多级网址的采集,请大大指教