zhouchanglin 发表于 2011-12-5 20:54:01

使用随机代理突破防采集的方法（封ip等）

本帖最后由 zhouchanglin 于 2018-8-10 12:33 编辑

一些网站高频率的采集，很可能就会被封ip限制访问等，这样就不能再采集它的内容，前功尽弃，这样的网站一般都是比较大型的网站，资源都很好，但往往都会有防采集，而比较好的方法是限制访问频率封ip，这些在火车头面前也是纸老虎


火车头有一个功能就是针对这种情况的----------------------------设置随机代理

进入选项--》http代理：路图，即可进行设置代理



接下来是关键的地方：寻找可用的代理ip，寻找免费的代理ip，需要借助第3方的代理ip搜索工具

**** Hidden Message *****

zyzsos123 发表于 2011-12-6 22:21:11

这贴要加精啊~~!
顶

php2011 发表于 2011-12-6 20:45:49

:lol:lol:lol谢谢分享

dacheng 发表于 2011-12-7 14:45:24

真不错的帖子，不能潜掉啊

cw723 发表于 2011-12-18 16:15:06

能提供接口么:Q:Q:Q:Q

zhouchanglin 发表于 2011-12-19 20:50:26

cw723 发表于 2011-12-18 16:15 static/image/common/back.gif
能提供接口么

可以联系我制作接口，因为针对不同的网站会略有不同， 不会免费提供接口

uyibai 发表于 2011-12-24 11:10:17

用代理的方法防止封ip适用于免费火车头吗？

zhouchanglin 发表于 2011-12-24 15:09:09

uyibai 发表于 2011-12-24 11:10 static/image/common/back.gif
用代理的方法防止封ip适用于免费火车头吗？

适用的，我的火车头就是免费的，火车头免费版支持使用代理，只不过现在对代理ip缺少某些使用过程中的筛选和请求网站的处理，很容易间断的出现采集失败的，而我是通过外部php程序模拟的随机代理，去访问网页，并且可以保证每次都会成功请求数据（用了循环过程，不成功则循环），经过本人测试成功概率100%

需要此接口，可以联系我

zhqs425 发表于 2011-12-30 16:00:32

谢谢分享了！！:hug:

t57112613 发表于 2012-1-6 09:52:49

这贴要加精啊~~!
顶
页: [1] 2 3 4 5 6 7 8 9 10
查看完整版本: 使用随机代理突破防采集的方法（封ip等）