九九工作室 发表于 2015-7-27 12:33:47

获取cookie教程

本帖最后由 九九工作室 于 2015-7-27 12:35 编辑

针对有些网站需要cookie才能采集的,列举几个获取cookie的方法!
首先,说下在火车头采集器中需要用到cookie的两个地方
一个是采集规则中,第一步中的网页登录信息,那个地方的cookie和user-agent。

第二个是发布配置管理中的使用内置浏览器登录方法,需要使用cookie和user-agent。


【方法1】使用fiddler获取cookie
官方教程链接
fiddler使用实例之--获取cookie
fiddler的扩展教程
【方法2】使用浏览器的审查元素功能,debugger
以搜狗浏览器为例,打开我们需要登录的网站,切换浏览器为极速模式,登录账号密码,进去,然后在登录后的网页,鼠标右键,选择审查元素
选择Network选项,然后在网页上,右键,刷新一下网页

找到我们刷新的网页地址,一般都是在最上面,点击一下,然后选择右边的Headers选项
然后根据上图的红色框提示,就找到了cookie和user-agent的对应位置

Cookie:
User-Agent:
后面的代码复制填写到火车头规则或者发布配置的对应位置就可以了
【注】:发布配置在填写好cookie和user-agent之后,不要忘记点击保存配置按钮
【方法3】在登录账号之后,在浏览器网址栏里,输入下面的代码
获取cookie代码:
javascript:document.write(document.cookie);
获取user-agent代码:
javascript:document.write(navigator.userAgent);


iou33449999 发表于 2015-10-22 14:34:08

请看这个问题怎么破?
http://bbs.locoy.com/spider-141391-1-1.html
页: [1]
查看完整版本: 获取cookie教程