找回密码

火车采集器软件交流官方论坛

搜索
火车采集器V9版免费下载火车浏览器 - 可视采集,万能群发,全自动脚本工具
查看: 2275|回复: 4

这类网站如何采集分页、求赐教

[复制链接]
发表于 2017-8-31 13:48:23 | 显示全部楼层 |阅读模式
1、采集http://data.wxb.com/rank,点击下一页主页http不变,但是内容却是第二页的内容。然后通过fiddle 抓取到分页真实网址http://data.wxb.com/rank/day/201 ... =2&page_size=20 然后用 http请求工具查看 提示受限制。无法查看。输入 cookie 仍然查看不了

2、然后 在主页查看  分页代码为
<ul class="ant-pagination ant-table-pagination" unselectable="unselectable" data-reactid="877"><li title="上一页" class="ant-pagination-disabled ant-pagination-prev" data-reactid="878"><a data-reactid="879"></a></li><li title="1" class="ant-pagination-item ant-pagination-item-1 ant-pagination-item-active" data-reactid="880"><a data-reactid="881">1</a></li><li title="2" class="ant-pagination-item ant-pagination-item-2" data-reactid="882"><a data-reactid="883">2</a></li><li title="3" class="ant-pagination-item ant-pagination-item-3" data-reactid="884"><a data-reactid="885">3</a></li><li title="4" class="ant-pagination-item ant-pagination-item-4" data-reactid="886"><a data-reactid="887">4</a></li><li title="5" class="ant-pagination-item ant-pagination-item-5" data-reactid="888"><a data-reactid="889">5</a></li><li title="向后 5 页" class="ant-pagination-jump-next" data-reactid="890"><a data-reactid="891"></a></li><li title="50" class="ant-pagination-item ant-pagination-item-50" data-reactid="892"><a data-reactid="893">50</a></li><li title="下一页" class="ant-pagination-next" data-reactid="894"><a data-reactid="895"></a></li>

求赐教怎么能抓取第二页的内容!

发表于 2017-9-1 08:37:30 | 显示全部楼层
需要加头信息处理

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?加入会员

x
 楼主| 发表于 2017-9-4 08:45:08 | 显示全部楼层
leweizxl 发表于 2017-9-1 08:37
需要加头信息处理

好的谢谢 。我试试 毕竟刚刚接触火车头采集器没多久。。  谢谢指教
 楼主| 发表于 2017-9-4 09:05:37 | 显示全部楼层
leweizxl 发表于 2017-9-1 08:37
需要加头信息处理

。。尝试了一下。。一头雾水 header设置名和 设置值是填写那些内容。。。
发表于 2017-9-4 09:38:07 | 显示全部楼层
wx_B2JThQFJ 发表于 2017-9-4 09:05
。。尝试了一下。。一头雾水 header设置名和 设置值是填写那些内容。。。

用fiddler抓包下请求信息
您需要登录后才可以回帖 登录 | 加入会员

本版积分规则

温馨提示:建议您联系官方定制服务,通过官方支付方式完成支付。您与其他非官方账号发生的交易,我方概不承担责任。网络有风险,交易需谨慎

QQ| 手机版|Archiver| 火车采集器官方站

Copyright © 2001-2013 Comsenz Inc.  Template by Comeings! All Rights Reserved.

Powered by Discuz! X3.4( 皖ICP备06000549 )

快速回复 返回顶部 返回列表