求大神指教，这种样式的分页应该怎么来抓取？

jolly999 · 发表于 2017-1-13 20:27:25

本帖最后由 jolly999 于 2017-1-13 21:09 编辑

搞了好几天了，都没有搞定这个站点的分页http://www.chanpin100.com/pm，求高手指点一二，应该怎么来搞下呢？看了下它的分页，是这种样式的http://www.chanpin100.com/pm/list?page=5&end_id=102635，但是打开的话什么都没有，所以不知道该怎么办了，只能来这向高手求救。通过浏览器抓取，能看到想要的数据，但不知道该怎么把它抓取出来，有哪位大神怎么该怎么将这个数据抓取出来的吗？
如果可以的话，麻烦给出步骤和方法再好不过了，直接贴出抓取到的分页地址样式也可以，感激不尽啊。

leweizxl · 发表于 2017-1-14 10:38:28

用采集器的确不行访问都是超时的可以考虑使用火车浏览器获取看看

zhjm1223 · 发表于 2017-1-14 17:31:49

需要做的话可以联系我这种我能做

九九工作室 · 发表于 2017-1-14 18:08:24

火车头采集器采集不了，是因为缺少http头信息，关键的是X-Requested-With: XMLHttpRequest
这个头信息，使用火车头V9版的，加个列表页的http头信息请求就可以了，当然这个需要火车头商业版的功能才能实现的

yejingang · 发表于 2017-2-7 09:10:22

list干嘛？http://www.chanpin100.com/article/102868 全部干下来不就完了

goc · 发表于 2017-2-20 13:01:52

浏览器应该是可以做到的

帐号		自动登录	找回密码
密码			加入会员

求大神指教，这种样式的分页应该怎么来抓取？

本帖子中包含更多资源