求助，求教一个二级页面抓取方法~

lizkvin

列表页：www.XXX.com/tour/north_america/region-NA?page=1
内容页：www.XXX.com/tour/view/asd-577
要抓去内容页里面的评论，是ajax写的，已经把地址抓出来了，get方式：
www.XXX.com/ajax/ajax_comments?v ... ;sss=577&page=1  （577是产品页参数，1是评论页数）


列表页抓取没问题，内容页抓取没问题，评论内容抓取没有问题
就是不太清楚怎么从www.XXX.com/tour/view/asd-577页面获取到下面的地址
www.XXX.com/ajax/ajax_comments?v ... ;sss=577&page=1
这种评论地址应该怎么获取~~~~

求大神帮忙~~~感谢

lizkvin

大概清楚应该是要写 2级列表页 但就是不清楚应该怎么写~~~~

leweizxl

lizkvin 发表于 2017-8-28 17:45
大概清楚应该是要写 2级列表页 但就是不清楚应该怎么写~~~~

可以对应做多页设置获取的

leweizxl

leweizxl 发表于 2017-8-29 08:15
可以对应做多页设置获取的

http://www.locoy.com/index/guide#关联多页.html

lizkvin

leweizxl 发表于 2017-8-29 08:15
http://www.locoy.com/index/guide#关联多页.html

www.xxx.com/tour/view/tourcode-6990

www.xxx.com/ajax/ajax_comments?v ... tid=6990&page=1
www.xxx.com/ajax/ajax_comments?v ... tid=6990&page=2
www.xxx.com/ajax/ajax_comments?v ... tid=6990&page=3
www.xxx.com/ajax/ajax_comments?v ... tid=6990&page=4
www.xxx.com/ajax/ajax_comments?v ... tid=6990&page=5

多页设置：
将：www.xxx.com/tour/view/tourcode-(.*)
替换为：www.xxx.com/ajax/ajax_comments?v=2&type=tour&productid=$1&page=1

前面的参数可以直接匹配换掉，后面这个页数怎么处理的呢？

leweizxl

lizkvin 发表于 2017-8-29 09:49
www.xxx.com/tour/view/tourcode-6990

www.xxx.com/ajax/ajax_comments?v=2&type=tour&productid=6990&p ...

有分页的话  做多级网址设置

leweizxl

http://www.locoy.com/index/guide#0级及多级网址获取.html