彭博社新闻很快被反扒发现

jiulianus · 发表于 2018-11-6 14:13:27

本帖最后由 jiulianus 于 2018-11-6 16:03 编辑

采集彭博社新闻，还没遍完采集规则，测试时结果上就显示Bloomberg-Are you a robot? 无法继续测试。添加了Cookie和UA好不容易遍完规则，用单线程，请求速度下调到5000毫秒，只采集30条新闻，但15条以后采集的结果有都是Bloomberg-Are you a robot?

请问这种情况如何处理？

leweizxl · 发表于 2018-11-6 16:25:55

那就是只能考虑换ip采集了

jiulianus · 发表于 2018-11-6 17:46:34

没有大量采集，只是试了一下就这样。采集器上没有办法通过设置对应吗？

leweizxl · 发表于 2018-11-11 08:53:35

jiulianus 发表于 2018-11-6 17:46
没有大量采集，只是试了一下就这样。采集器上没有办法通过设置对应吗？

除了换ip 直接调节时间间隔

帐号		自动登录	找回密码
密码			加入会员

彭博社新闻 很快被反扒发现

本帖子中包含更多资源

彭博社新闻很快被反扒发现