使用随机代理突破防采集的方法（封ip等）

zhouchanglin · 发表于 2011-12-5 20:54:01

本帖最后由 zhouchanglin 于 2018-8-10 12:33 编辑

一些网站高频率的采集，很可能就会被封ip限制访问等，这样就不能再采集它的内容，前功尽弃，这样的网站一般都是比较大型的网站，资源都很好，但往往都会有防采集，而比较好的方法是限制访问频率封ip，这些在火车头面前也是纸老虎

火车头有一个功能就是针对这种情况的----------------------------设置随机代理

进入选项--》http代理：路图，即可进行设置代理

接下来是关键的地方：寻找可用的代理ip，寻找免费的代理ip，需要借助第3方的代理ip搜索工具

游客，如果您要查看本帖隐藏内容请回复

zyzsos123 · 发表于 2011-12-6 22:21:11

这贴要加精啊~~!
顶

php2011 · 发表于 2011-12-6 20:45:49

谢谢分享

dacheng · 发表于 2011-12-7 14:45:24

真不错的帖子，不能潜掉啊

cw723 · 发表于 2011-12-18 16:15:06

能提供接口么

zhouchanglin · 发表于 2011-12-19 20:50:26

cw723 发表于 2011-12-18 16:15
能提供接口么

可以联系我制作接口，因为针对不同的网站会略有不同，不会免费提供接口

uyibai · 发表于 2011-12-24 11:10:17

用代理的方法防止封ip适用于免费火车头吗？

zhouchanglin · 发表于 2011-12-24 15:09:09

uyibai 发表于 2011-12-24 11:10
用代理的方法防止封ip适用于免费火车头吗？

适用的，我的火车头就是免费的，火车头免费版支持使用代理，只不过现在对代理ip缺少某些使用过程中的筛选和请求网站的处理，很容易间断的出现采集失败的，而我是通过外部php程序模拟的随机代理，去访问网页，并且可以保证每次都会成功请求数据（用了循环过程，不成功则循环），经过本人测试成功概率100%

需要此接口，可以联系我

zhqs425 · 发表于 2011-12-30 16:00:32

谢谢分享了！！

t57112613 · 发表于 2012-1-6 09:52:49

这贴要加精啊~~!
顶

帐号		自动登录	找回密码
密码			加入会员

使用随机代理突破防采集的方法（封ip等）

本帖子中包含更多资源

评分

浏览过的版块