伪造访问UA、cookie、二级代理功能建议
目前有蛮多网站的反采集策略比较变态所以建议能够增加多UA随机切换、多cookie随机切换功能
另外,对于二级代理,目前几乎所有的共享的ip代理购买之后都是给一个api结构,每访问一次都会返回不同的ip代理,如果二级代理能实现给一个api接口地址,二级代理程序能每隔几分钟抓取一次代理并验证,验证后加入到可用代理列表,这样代理就可以完全自动了,完美
有了这三种代理的配合 相信应该不会有多少网站是不能采集的了
希望采集器能够采纳谢谢
页:
[1]