这样的拍拍页面采集他的粉丝的QQ号,URL没变,抓包没POST,该怎么办?
http://ext.paipai.com/uinfo/Follows?userid=363855000&type=1&PTAG=20063.10.11#nolink如题!!!帮下忙哦!!! Ajax和JS有没? 用工具,可以采的。
试试这个规则
分页用fiddle 可以抓取 对对。。。。老大厉害!就是用fiddle抓取的!!! 本帖最后由 zhouchanglin 于 2011-1-12 14:16 编辑
粉丝分页网址:http://ext.paipai.com/concern/fanslist?userid=363855000&pageid=1&pagesize=14&callback=ManageFansListCallBack&t=关注分页网址;http://ext.paipai.com/concern/followlist?userid=363855000&pageid=1&pagesize=14&callback=ManageAttentionListCallBack&t=连接参数意思:
userid--------------用户QQ号
pageid--------------第几页
pagesize---------每页显示粉丝或关注人的个数,默认14
callback-------------数据处理函数
分页都是js控制的,所以没法采集分页,不过可以通过修改页面pagesize,用最大的数量,好像粉丝最多页只能是36页,数量最多500条,
改成
粉丝http://ext.paipai.com/concern/fanslist?userid=3638550008&pageid=1&pagesize=500&callback=ManageFansListCallBack&t=关注网址;http://ext.paipai.com/concern/followlist?userid=363855000&pageid=1&pagesize=500&callback=ManageAttentionListCallBack&t=就差不多都可以猜到
,好像顺序会和默认的不同,这样请求非常慢,但不需要插件处理得到分页
获得粉丝的函数:PP.miniIndex.getFansList=function
(pageid){var userid=$getQuery('userid');
$loadScript
("http://ext.paipai.com/concern/fanslist?
userid="+userid+"&pageid="+pageid+"&pagesize=14&callback=ManageFansListCallBack&t="+Math.ran
dom(),"getFansListScript",{charset:"gb2312"});};获得关注的PP.miniIndex.getFollowList=function(pageid){var userid=$getQuery('userid');$loadScript("http://ext.paipai.com/concern/followlist?userid="+userid+"&pageid="+pageid+"&pagesize=14&callback=ManageAttentionListCallBack&t="+Math.random(),"getAttentionListScript",{charset:"gb2312"});};PP.miniIndex.getFansList=function(pageid){var userid=$getQuery('userid');$loadScript("http://ext.paipai.com/concern/fanslist?userid="+userid+"&pageid="+pageid+"&pagesize=14&callback=ManageFansListCallBack&t="+Math.random(),"getFansListScript",{charset:"gb2312"});};需要在选项里,把采集请求超时放弃时间调长些,因为一下子请求数据几百条很慢,这主要取决于pagesize的大小,路过不需要太多,可以修改规则多页里的这个参数
太感谢了!!!好多好心的朋友。我也弄出来了!!! 拍拍网[www.paipai.com]商城采集规则
http://www.dataindex.org/forum-viewthread-tid-246-fromuid-2.html
页:
[1]