wx_B2JThQFJ 发表于 2017-8-31 13:48:23

这类网站如何采集分页、求赐教

1、采集http://data.wxb.com/rank，点击下一页主页http不变，但是内容却是第二页的内容。然后通过fiddle 抓取到分页真实网址http://data.wxb.com/rank/day/2017-08-29/-1?sort=index_scores+desc&page=2&page_size=20 然后用 http请求工具查看 提示受限制。无法查看。输入 cookie 仍然查看不了

2、然后 在主页查看分页代码为
<ul class="ant-pagination ant-table-pagination" unselectable="unselectable" data-reactid="877"><li title="上一页" class="ant-pagination-disabled ant-pagination-prev" data-reactid="878"><a data-reactid="879"></a></li><li title="1" class="ant-pagination-item ant-pagination-item-1 ant-pagination-item-active" data-reactid="880"><a data-reactid="881">1</a></li><li title="2" class="ant-pagination-item ant-pagination-item-2" data-reactid="882"><a data-reactid="883">2</a></li><li title="3" class="ant-pagination-item ant-pagination-item-3" data-reactid="884"><a data-reactid="885">3</a></li><li title="4" class="ant-pagination-item ant-pagination-item-4" data-reactid="886"><a data-reactid="887">4</a></li><li title="5" class="ant-pagination-item ant-pagination-item-5" data-reactid="888"><a data-reactid="889">5</a></li><li title="向后 5 页" class="ant-pagination-jump-next" data-reactid="890"><a data-reactid="891"></a></li><li title="50" class="ant-pagination-item ant-pagination-item-50" data-reactid="892"><a data-reactid="893">50</a></li><li title="下一页" class="ant-pagination-next" data-reactid="894"><a data-reactid="895"></a></li>

求赐教怎么能抓取第二页的内容！

leweizxl 发表于 2017-9-1 08:37:30

需要加头信息处理

wx_B2JThQFJ 发表于 2017-9-4 08:45:08

leweizxl 发表于 2017-9-1 08:37
需要加头信息处理

好的谢谢 。我试试 毕竟刚刚接触火车头采集器没多久。。谢谢指教

wx_B2JThQFJ 发表于 2017-9-4 09:05:37

leweizxl 发表于 2017-9-1 08:37
需要加头信息处理

。。尝试了一下。。一头雾水 header设置名和 设置值是填写那些内容。。。

leweizxl 发表于 2017-9-4 09:38:07

wx_B2JThQFJ 发表于 2017-9-4 09:05
。。尝试了一下。。一头雾水 header设置名和 设置值是填写那些内容。。。

用fiddler抓包下请求信息
页: [1]
查看完整版本: 这类网站如何采集分页、求赐教