火车头可以实现随机useragent么？

chenyox · 发表于 2017-2-23 22:27:20

用火车头采集一个网站，采集几百页就才不下去了，用了随机ip也不行，但是换一下useragent就又可以采了，然后采几百页又被封了，又换个useragent又行了，这样子太累了，请问火车头可以实现随机useragent么？不用每次都要去手动换，谢谢啦！

leweizxl · 发表于 2017-2-24 09:34:35

本身是不支持的可以做插件处理

大明_DO1zO · 发表于 2017-2-24 10:42:10

我也遇到封IP的情况，你可以在其他设置里—>代理设置：使用指定代理。可以设置二级代理，如果你有足够多的IP就不用怕封IP了，也不用手动换useragent，他会自动拨号。

chenyox · 发表于 2017-2-24 14:23:20

leweizxl 发表于 2017-2-24 09:34
本身是不支持的可以做插件处理

只有付费版才可以用插件对么?

chenyox · 发表于 2017-2-24 14:26:03

大明_DO1zO 发表于 2017-2-24 10:42
我也遇到封IP的情况，你可以在其他设置里—>代理设置：使用指定代理。可以设置二级代理，如果你有足够多的I ...

我有用代理的，指定一个代理，然后每次访问请求数据都会换一个代理，代理池里面有几w个吧，但是这样不行，过一会就封了，然后手动换个useragent，再开始采又可以用一会。。。

不知道他怎么判断出来是在采集的。。。

leweizxl · 发表于 2017-2-24 14:30:52

chenyox 发表于 2017-2-24 14:26
我有用代理的，指定一个代理，然后每次访问请求数据都会换一个代理，代理池里面有几w个吧，但是这样不行 ...

是的插件是付费版本通过ip 有时候可以封的是IP段吧

大明_DO1zO · 发表于 2017-2-24 14:53:01

chenyox 发表于 2017-2-24 14:26
我有用代理的，指定一个代理，然后每次访问请求数据都会换一个代理，代理池里面有几w个吧，但是这样不行 ...

不会吧，你设置的代理多久拨一次号？我设置的代理一般几分钟会换一次IP，这样，他们的网站是检测不到的，我采集是没有问题的。。你看一下你设置的代理，应该可以设置时间，你把时间间隔改小一些，应该没有问题，有问题的话，你在说。

chenyox · 发表于 2017-2-25 23:09:01

大明_DO1zO 发表于 2017-2-24 14:53
不会吧，你设置的代理多久拨一次号？我设置的代理一般几分钟会换一次IP，这样，他们的网站是检测不到的， ...

我的是每次请求都是不同的ip，所以应该不是代理的问题，感觉是目标站会在浏览器加入一点什么东西，然后访问到多少左右就封掉，随机useragent应该可以解决

longouxiu · 发表于 2017-2-26 15:56:48

利用插件应该可以处理的

帐号		自动登录	找回密码
密码			加入会员