|
第一,采集列表链接时,增加替换功能,这样可能实现一些跳转后的页面的采集!PS 上次遇到一个变态的网站,不能采集.真是郁闷! 希望火车增加!
第二,增加可以同时采集多个页面的功能!
今天看到一个贴子,说得详细一些,所以借他的话了!!
-
- 多页面采集建议增加前缀,要不前缀不一样多页面就没有意义了@
- --------------------------------------------------------------------------------------------
- 对于同时一个下载内容页和在新窗口打开的下载地址页这种情况的采集,
- 还有如一个电脑产品的参数,图片,商家,价格,评论等存在于不同的页面的情况均应在这里定义。
- 比如我们采集的主内容页面是:
- http://product.it168.com/detail/doc/158347/detail.shtml
- 而价格页是:
- http://price.it168.com/detail/doc/158347/price.shtml,
- 图片页是:
- http://pic.it168.com/detail/doc/158347/pic.shtml
- 定义一个价格页和图片页,相应的替换detail为price或pic即可,
- 最后在定义标签的时候选择采集采集的内容属于哪个页面
- 上面的多页面可以直接通过定义获得,还有一种情况:对于和默认页网址没有任何关系的多页链接,需要通过采集默认页内容才能得到,选第二种方式,定义在默认页源代码中采集该地址的首末字符串
复制代码
[ 本帖最后由 vus520 于 2007-10-29 13:00 编辑 ] |
|