多页采集的时候获取网页内容失败，重试中请求页面，这个问题是时好时坏的，有的...

falchion · 发表于 2014-1-9 22:15:37

多页采集的时候获取网页内容失败，重试中请求页面，这个问题是时好时坏的，有的时候能采集，有的时候就获取失败，这个到底是怎么回事呢？怎么设置就不会失败了？

303718 · 发表于 2014-1-10 08:47:17

有可能是网速问题或者访问太频繁IP被限制了

falchion · 发表于 2014-1-10 19:52:23

303718 发表于 2014-1-10 08:47
有可能是网速问题或者访问太频繁IP被限制了

不会吧网速没问题
ip限制也不会时好时坏啊

falchion · 发表于 2014-4-22 11:01:49

我知道了之前是模拟谷歌的蜘蛛改成本地ie不模拟蜘蛛就好了

帐号		自动登录	找回密码
密码			加入会员

多页采集的时候获取网页内容失败，重试中请求页面 ，这个问题是时好时坏的，有的...