15261073390 发表于 2017-7-4 13:55:39

采集cookie问题

问题描述：
运行日志如下图。一开始运行可正常采集，隔一段时间连续跳出记录被过滤的问题，无法采集数据。点击任务刷一遍cookie，功能又恢复正常。
求教大神，如何设置可以避免这种情况？



07/04 13:36:42:开始请求 https://ythaoge.1688.com/page/creditdetail.htm
07/04 13:36:43:记录被过滤，原因:【成立时间】不符合不得为空设置，记录地址：https://ythaoge.1688.com/page/creditdetail.htm。
07/04 13:36:43:当前记录符合过滤要求，已经被标记为未采。ID:2703，网址：https://ythaoge.1688.com/page/creditdetail.htm
07/04 13:36:46:开始请求 https://genprior.1688.com/page/creditdetail.htm
07/04 13:36:57:请求[默认页面]时出错，URL=https://genprior.1688.com/page/creditdetail.htm
07/04 13:37:01:开始请求 https://hangzhuang.1688.com/page/creditdetail.htm
07/04 13:37:04:成功采集并更新到数据库:2011年07月15日
07/04 13:37:07:开始请求 https://ymrhfs.1688.com/page/creditdetail.htm
07/04 13:37:09:成功采集并更新到数据库:2013年11月14日
07/04 13:37:12:开始请求 https://aullnise.1688.com/page/creditdetail.htm

leweizxl 发表于 2017-7-4 17:47:43

可以考虑用代理 换ip

15261073390 发表于 2017-7-5 09:57:37

leweizxl 发表于 2017-7-4 17:47
可以考虑用代理 换ip

能设置定期更换么，能发个参考链接么

leweizxl 发表于 2017-7-5 10:54:51

15261073390 发表于 2017-7-5 09:57
能设置定期更换么，能发个参考链接么

http://faq.locoy.com/q-1218.html

303718 发表于 2017-7-5 13:21:24

这是COOKIE问题换IP有效果吗

longouxiu 发表于 2017-7-9 11:22:21

采集1688 就不应该这样去采集 ，
页: [1]
查看完整版本: 采集cookie问题