不需要登陆就可以采集的网站，但是cookie会定期失效，怎.....

iou33449999 · 发表于 2015-10-22 14:28:00

本帖最后由 iou33449999 于 2015-10-22 14:37 编辑

不需要登陆就可以采集的网站，但是cookie会定期失效，怎么破？
具有表现是：采集任务执行10分钟左右，不管是单线程还是多线程，也不管采集的间隔时间怎么设置，采集任务都无效了（关于IP，我也通过豪迪IP更换器30秒换一次），此时用浏览器也访问不了页面，但是当我清空浏览器的cookie后，再次抓取到最新的cookie后植入采集器可以继续工作10分钟左右。
该网站不需要登陆就可以采集到我需要的东西，但是数据量较大，手工干预实在受不了。
所以我猜测该网站设置了cookie的失效时间。
这样的情况，怎么办呢？

303718 · 发表于 2015-10-22 14:45:02

这种只能用插件处理了。

kuhabe · 发表于 2015-10-22 15:01:00

用火车浏览器，可以判断模拟自动登录 http://www.locoyposter.com/

iou33449999 · 发表于 2015-10-22 19:52:35

303718 发表于 2015-10-22 14:45
这种只能用插件处理了。

这货到处在论坛留言说一些高深莫测的话，然后淘宝上几十块钱的事情，一开口要价500，你也是穷疯了是吧？

老雷 · 发表于 2015-10-25 01:14:36

多分割一些小任务，每个任务少采集一些资源。我之前，也遇到过这样的情况。我就是这么弄的。数据量，估计没有你的那么大。你可以试试。

iou33449999 · 发表于 2015-11-4 16:24:15

老雷发表于 2015-10-25 01:14
多分割一些小任务，每个任务少采集一些资源。我之前，也遇到过这样的情况。我就是这么弄的。数据量，估计没 ...

谢谢你的建议

15261073390 · 发表于 2017-7-5 09:54:57

楼主你的问题解决了么，能否告知一下怎么操作