gs8716 发表于 2011-3-23 11:15:59

采集访问频繁账号被禁如何解决？

我要采集的网站需要登录才能查看内容，没问题，我登录。
刚开始采集结果是正常的，过一会儿(时间未知)，我的帐号被网站设置为禁止登录了，采集的内容都为空数据。
由于我要一次性把所有数据采集下来(数据需要整理后才能发布)，数据量巨大，大约有三百万条网址，火车头采集内容时间间隔设置长点采集时间就非常非常漫长。
禁止账号重新注册(新账号不采集直接访问)很快就会又被禁止，应该是记录了IP。


有没有其它的解决方案啊？
对方网站空间是apache22.

303718 发表于 2011-3-23 17:14:28

用ADSL换IP了ali74ls

zjyk1984 发表于 2011-3-23 21:06:53

采的时候慢一点，可以使用代理采

gs8716 发表于 2011-3-24 08:30:33

谢谢楼上的各位。没有试过换IP采的，还不确定他的网站是根据IP还是用户名来统计的，还有其它更好的方法吗？

seowhy 发表于 2011-3-26 19:18:06

间隔一段时间换个用户跟ip采

wdkey 发表于 2011-3-28 10:13:07

重注册了，米得办法
页: [1]
查看完整版本: 采集访问频繁账号被禁如何解决？