不需要登陆就可以采集的网站，但是cookie会定期失效，怎.....
本帖最后由 iou33449999 于 2015-10-22 14:37 编辑不需要登陆就可以采集的网站，但是cookie会定期失效，怎么破？
具有表现是：采集任务执行10分钟左右，不管是单线程还是多线程，也不管采集的间隔时间怎么设置，采集任务都无效了（关于IP，我也通过豪迪IP更换器30秒换一次），此时用浏览器也访问不了页面，但是当我清空浏览器的cookie后，再次抓取到最新的cookie后植入采集器可以继续工作10分钟左右。
该网站不需要登陆就可以采集到我需要的东西，但是数据量较大，手工干预实在受不了。
所以我猜测该网站设置了cookie的失效时间。
这样的情况，怎么办呢？
这种只能用插件处理了。 用火车浏览器，可以判断模拟自动登录 http://www.locoyposter.com/ 303718 发表于 2015-10-22 14:45
这种只能用插件处理了。
这货到处在论坛留言说一些高深莫测的话，然后淘宝上几十块钱的事情，一开口要价500，你也是穷疯了是吧？ 多分割一些小任务，每个任务少采集一些资源。我之前，也遇到过这样的情况。我就是这么弄的。数据量，估计没有你的那么大。你可以试试。 老雷 发表于 2015-10-25 01:14
多分割一些小任务，每个任务少采集一些资源。我之前，也遇到过这样的情况。我就是这么弄的。数据量，估计没 ...
谢谢你的建议:hug: 楼主你的问题解决了么，能否告知一下怎么操作
页:
[1]