killer110 发表于 2013-10-15 14:17:45

登录后才能采集的网站 一直在set-cookie 重设后原来的cookie就失效了

登录后才能采集的网站 一直在set-cookie 重设后原来的cookie就失效了
看到论坛里有人反映过分页后cookie变化的，也有是每个网页都会变化cookie的。还有人反映新浪微博重设cookie无法采集，
不知道有没有办法解决这个呢。
这些网站用火车头就采集不到了。
火车头的采集效率高也好用，但是一些特殊要求的就不好采集了。能不能在开发点功能，增加下处理变化cookie的功能呢

沦陷今生 发表于 2013-10-15 15:00:39

你好，新浪微博经过测试是正常的，可否提供无法采集的相关网站呢

kuhabe 发表于 2013-10-15 15:26:16

你好，变化的cookies目前不支持处理哦，cookies失效了 需要重新获取才可以呢

killer110 发表于 2013-10-22 00:53:13

沦陷今生 发表于 2013-10-15 15:00 static/image/common/back.gif
你好，新浪微博经过测试是正常的，可否提供无法采集的相关网站呢

谢谢管理员的回复 仔细看了下 这个不是cookie的问题
原来是 user-agent的问题
把user-agent改成了本地IE浏览器就好了 具体原因不清楚
采集其他站都是用的火车默认的user-agent 没出过问题

killer110 发表于 2013-10-22 00:53:46

kuhabe 发表于 2013-10-15 15:26 static/image/common/back.gif
你好，变化的cookies目前不支持处理哦，cookies失效了 需要重新获取才可以呢

谢谢管理员的回复 仔细看了下 这个不是cookie的问题
原来是 user-agent的问题
把user-agent改成了本地IE浏览器就好了 具体原因不清楚
采集其他站都是用的火车默认的user-agent 没出过问题

感谢您的回复

156598 发表于 2014-2-27 12:37:27

最好也能采集cookie，这关可以解决cookie失效问题，请考虑

230104 发表于 2015-4-1 11:06:05

可以解决 用另外开发的软件配合火车头一起使用！
页: [1]
查看完整版本: 登录后才能采集的网站 一直在set-cookie 重设后原来的cookie就失效了