lizkvin 发表于 2017-8-28 17:40:35

求助，求教一个二级页面抓取方法~

列表页：www.XXX.com/tour/north_america/region-NA?page=1
内容页：www.XXX.com/tour/view/asd-577
要抓去内容页里面的评论，是ajax写的，已经把地址抓出来了，get方式：
www.XXX.com/ajax/ajax_comments?v=2&type=tour&sss=577&page=1（577是产品页参数，1是评论页数）


列表页抓取没问题，内容页抓取没问题，评论内容抓取没有问题
就是不太清楚怎么从www.XXX.com/tour/view/asd-577页面获取到下面的地址
www.XXX.com/ajax/ajax_comments?v=2&type=tour&sss=577&page=1
这种评论地址应该怎么获取~~~~

求大神帮忙~~~感谢


lizkvin 发表于 2017-8-28 17:45:20

大概清楚应该是要写 2级列表页 但就是不清楚应该怎么写~~~~

leweizxl 发表于 2017-8-29 08:15:38

lizkvin 发表于 2017-8-28 17:45
大概清楚应该是要写 2级列表页 但就是不清楚应该怎么写~~~~

可以对应做多页设置获取的

leweizxl 发表于 2017-8-29 08:15:59

leweizxl 发表于 2017-8-29 08:15
可以对应做多页设置获取的

http://www.locoy.com/index/guide#关联多页.html

lizkvin 发表于 2017-8-29 09:49:03

leweizxl 发表于 2017-8-29 08:15
http://www.locoy.com/index/guide#关联多页.html

www.xxx.com/tour/view/tourcode-6990

www.xxx.com/ajax/ajax_comments?v=2&type=tour&productid=6990&page=1
www.xxx.com/ajax/ajax_comments?v=2&type=tour&productid=6990&page=2
www.xxx.com/ajax/ajax_comments?v=2&type=tour&productid=6990&page=3
www.xxx.com/ajax/ajax_comments?v=2&type=tour&productid=6990&page=4
www.xxx.com/ajax/ajax_comments?v=2&type=tour&productid=6990&page=5

多页设置：
将：www.xxx.com/tour/view/tourcode-(.*)
替换为：www.xxx.com/ajax/ajax_comments?v=2&type=tour&productid=$1&page=1

前面的参数可以直接匹配换掉，后面这个页数怎么处理的呢？

leweizxl 发表于 2017-8-29 16:55:02

lizkvin 发表于 2017-8-29 09:49
www.xxx.com/tour/view/tourcode-6990

www.xxx.com/ajax/ajax_comments?v=2&type=tour&productid=6990&p ...

有分页的话做多级网址设置

leweizxl 发表于 2017-8-29 16:55:17

http://www.locoy.com/index/guide#0级及多级网址获取.html
页: [1]
查看完整版本: 求助，求教一个二级页面抓取方法~