怎么判断目标网站对采集线程有限制？

腐败网

我之前采集都没问题
这几天突然发现采集进度极慢，
经常被卡在了采网址阶段，（一级网址）总是说超时。
但是每被卡住的开始时间不一样
有时候是采集4页之后卡住，有时候是8页，也有1页的
看起来是随机的数字

有时卡在才采内容阶段
获取网页内容失败，重试中请求页面 默认页 http:// www.XXX.COM/product/1212操作已超时。


请问要怎么样判断，是我网络问题还是目标网站对浏览做了限制？
我已经修改了采集线程数量和时间
但好像没什么作用

303718

超时的时候你访问他们网站看速度是否正常了

腐败网

303718 发表于 2014-3-29 11:13
超时的时候你访问他们网站看速度是否正常了

直接访问貌似问题不大，稍微有点慢而已
刚刚在测试
火车头提示
请求 默认页 当前页出现错误:请求被中止: 连接被意外关闭。

还没遇到过这种提示