jiulianus 发表于 2018-11-6 14:13:27

彭博社新闻 很快被反扒发现

本帖最后由 jiulianus 于 2018-11-6 16:03 编辑

采集彭博社新闻，还没遍完采集规则，测试时结果上就显示Bloomberg-Areyou a robot? 无法继续测试。添加了Cookie和UA好不容易遍完规则，用单线程，请求速度下调到5000毫秒，只采集30条新闻，但15条以后采集的结果有都是Bloomberg-Areyou a robot?

请问这种情况如何处理？

leweizxl 发表于 2018-11-6 16:25:55

那就是只能考虑换ip采集了

jiulianus 发表于 2018-11-6 17:46:34

没有大量采集，只是试了一下就这样。采集器上没有办法通过设置对应吗？

leweizxl 发表于 2018-11-11 08:53:35

jiulianus 发表于 2018-11-6 17:46
没有大量采集，只是试了一下就这样。采集器上没有办法通过设置对应吗？

除了换ip直接调节时间间隔
页: [1]
查看完整版本: 彭博社新闻 很快被反扒发现