gugululu1122 发表于 2015-6-30 16:32:15

XHR数据抓取

采集https://www.appannie.com/apps/ios/app/444934666/rank-history/#vtype=day&countries=CN&start=2015-06-01&end=2015-06-30&device=iphone&view=rank&lm=3 上的排名，通过chrome的发现是通过XHR返回的数据。对应网址是www.appannie.com/apps/ios/app/444934666/rank-chart/?_c=1&countries=CN&start=2015-06-01&end=2015-06-30&d=iphone&f=ranks 可是打开这个网址显示的是Ajax call only， 怎么办呢？

303718 发表于 2015-6-30 16:35:59

用抓包工具抓到真实地址后采集，如果不行就得用插件了。

相关教程：
fiddler使用实例之----------查找隐藏的真实地址
http://faq.locoy.com/q-755.html

gugululu1122 发表于 2015-6-30 16:58:51

您好，是用FIDDLER找到真实地址之后，可是打开这个网址显示的是Ajax call only， 怎么办呢？就要写插件了是吗？

kuhabe 发表于 2015-6-30 17:22:09

用火车浏览器试试。

火车浏览器是一款可视化的浏览器自动化工具，我们可以通过设置脚本，达到自动登录，识别验证码，自动抓取数据，自动提交数据，点击网页，下载文件，操作数据库，收发邮件等操作。更强大的是可以使用逻辑操作，完成判断，循环，跳转等操作。所有的功能完全是自由组合，可以写出功能强大又独一无二的脚本来辅助我们的工作,还可以生成单独的EXE程序。以下文档是具体的介绍。

http://bbs.locoyposter.com/forum.php?mod=viewthread&tid=3&extra=page%3D1

imfly 发表于 2015-6-30 17:29:16

你这个我看下~
是鼠标放在图片坐标上会显示数据~源代码也没有数据~也没有点击项~采集器采不了~
可以试试浏览器~

gugululu1122 发表于 2015-6-30 18:41:59

您好，请问具体是使用浏览器的那部分功能呢？

imfly 发表于 2015-7-2 15:42:32

建议你去http://bbs.locoyposter.com/forum.php看一下~论坛提问浏览器实现~
页: [1]
查看完整版本: XHR数据抓取