局部刷新网页扒取
小的在这向给位大大求助了。在扒取京东或者淘宝的商品评论的时候遇见了两个问题。
第一,由于在获得商品的目录时候需要一级分页,在每件商品的评价里又存在一个二级分页。不知道怎么处理两级分页的扒取。例如,我要在京东里搜索手机,可能出现4000件商品共200页,而每一件商品又有400条评论共20页,这时我不知道怎么扒取这些评论。
第二,由于商品里的评价页面采用的是局部刷新的方式,因此看不见其网址的来源,找不到扒取的地址。例如,我在看HTC ONE这个商品页面的时候,初始状态是商品详情,我点击页面里的商品评论,其页面的网址没有发生变化,但页面却产生了局部刷新,页面的内容已经改变,我需要扒取的评论就在新刷新的局部页面中,我也不知道怎么扒取局部页面的评论。
小的初来乍到,恳请给位大大不吝赐教。
页:
[1]