liushirong 发表于 2016-7-15 10:47:44

伪造访问UA、cookie、二级代理功能建议

目前有蛮多网站的反采集策略比较变态

所以建议能够增加多UA随机切换、多cookie随机切换功能


另外,对于二级代理,目前几乎所有的共享的ip代理购买之后都是给一个api结构,每访问一次都会返回不同的ip代理,如果二级代理能实现给一个api接口地址,二级代理程序能每隔几分钟抓取一次代理并验证,验证后加入到可用代理列表,这样代理就可以完全自动了,完美

有了这三种代理的配合   相信应该不会有多少网站是不能采集的了

希望采集器能够采纳谢谢
页: [1]
查看完整版本: 伪造访问UA、cookie、二级代理功能建议