每周一数丨小采教你如何用火车采集器爬取法律法规新闻...
采集网址：
http://www.pkulaw.cn/cluster_form.aspx?Db=news&menu_item=law&EncodingName=&keyword=&range=name&http://www.locoy.com/Data/ueditor/image/20191024/1571909050195012.png采集目标：1. 遍历抓取列表页的内容页地址2. 内容页采集字段：标题，内容，关键词语，来源使用工具：1. 火车采集器2. Fidder抓包软件采集成果：http://www.locoy.com/Data/ueditor/image/20191024/1571909099544191.png
那么我们接下来看如何用火车采集器来获取法律法规数据。
第一步：打开火车官网 www.locoy.com 下载最新版火车采集器并安装http://www.locoy.com/Data/ueditor/image/20191024/1571909140229555.png
第二步：打开软件中列表页面，使用fiddler抓包获取数据包并分析，得到实际的数据请求（多抓取几个分页进行对比）http://www.locoy.com/Data/ueditor/image/20191024/1571909163121821.png通过分析可以看出，分页的加载方式是POST请求，POST表单中有控制分页的变量，内容页地址在源码当中的格式清晰可见。目
第三步：在采集器中新建规则，按照Fiddler抓包得到的信息编写列表页的获取规则POST请求地址填写到起始地址栏中http://www.locoy.com/Data/ueditor/image/20191024/1571909198221375.png填写POST表单,将分页控制参数用[分页]变量替换,然后设置分页范围http://www.locoy.com/Data/ueditor/image/20191024/1571909218974620.png
第四步：分析源码后,在网址获取选项中设置内容页地址的获取规则,并测试采集列表http://www.locoy.com/Data/ueditor/image/20191024/1571909282569731.png将抓包获取的头信息依次填写到HTTP请求设置中http://www.locoy.com/Data/ueditor/image/20191024/1571909302859348.png
第五步：以上全部设置好后,可测试运行列表的获取,获取成功后可以继续制作内容采集规则http://www.locoy.com/Data/ueditor/image/20191024/1571909324727113.png
第六步：浏览器中打开一个内容页,找到需要采集的字段位置,和源码的对应关系http://www.locoy.com/Data/ueditor/image/20191024/1571909518725629.png找到数据的前后位置就可以通过前后截取或者正则提取得到内容http://www.locoy.com/Data/ueditor/image/20191024/1571909538341534.png
第七步：由于”关键词语”字段有多个值,建议使用循环获取,以下是处理方法设置关联多页并保存
http://www.locoy.com/Data/ueditor/image/20191024/1571909560842738.png从关联多页中进行循环提取http://www.locoy.com/Data/ueditor/image/20191024/1571909579748743.png
总结:通过Fiddler抓包分析数据请求信息,按照要求填写相应设置,编写内容字段的获取规则即可。注意:1.该网站采集存在封IP的问题,需要使用代理后才能长时间采集,2.Cookie一段时间后也存在失效问题
每周一数数据以及采集规则领取时间为2019/10/24日发文后5个工作日内。采集规则涉及到商业版本功能，建议用户登录商业版本使用此规则。
数据领取资格：火车采集器/火车浏览器/触控精灵商业版软件用户（服务年限内），如果您不是商业用户或者已经过了服务年限，但也想参与活动的话，可以新购软件或者升级续费，这样就能参与活动啦！通知一下哦，双11火车活动优惠折扣很大呢！
数据领取方式：第一步：扫码添加火车运营微信号，火车运营助手会拉你进入活动群。http://www.locoy.com/Data/ueditor/image/20191024/1571909777698348.jpg
第二步：进群后添加数据咨询客服.雅的微信号，经客服验证为服务年限内商业用户身份后，即可领取。
好啦，本期的“每周一数”就到这里了。如果您还有想要获取更多的数据资源以及采集器规则的话，可以在文章下方或是公众号后台留言，小采会综合大家的意见选择下一期赠送数据的主题哦！
感谢楼主分享，论坛有你更精彩
页:
[1]