a158821711 发表于 2013-7-2 15:34:03

局部刷新网页扒取

小的在这向给位大大求助了。

在扒取京东或者淘宝的商品评论的时候遇见了两个问题。

第一,由于在获得商品的目录时候需要一级分页,在每件商品的评价里又存在一个二级分页。不知道怎么处理两级分页的扒取。例如,我要在京东里搜索手机,可能出现4000件商品共200页,而每一件商品又有400条评论共20页,这时我不知道怎么扒取这些评论。

第二,由于商品里的评价页面采用的是局部刷新的方式,因此看不见其网址的来源,找不到扒取的地址。例如,我在看HTC ONE这个商品页面的时候,初始状态是商品详情,我点击页面里的商品评论,其页面的网址没有发生变化,但页面却产生了局部刷新,页面的内容已经改变,我需要扒取的评论就在新刷新的局部页面中,我也不知道怎么扒取局部页面的评论。

小的初来乍到,恳请给位大大不吝赐教。
页: [1]
查看完整版本: 局部刷新网页扒取