为什么会有原本采集正常，过一会就采集都是空白，重启电脑后好了的情况？

myfly · 发表于 2014-9-26 16:04:01

本帖最后由 myfly 于 2014-9-26 16:55 编辑

无论多级网址的获取还是普通页面采集都是空白。测试一下还是空。
但是如果直接点无限级多页规则编辑里面，测试一下就可以采集到数据。
测试和源码我都看了，没有问题的。
这个是为什么呢？

已经多次了

303718 · 发表于 2014-9-26 20:43:18

这种应该是目标网站限制IP之类的限制了

myfly · 发表于 2014-9-28 09:06:03

是搜索引擎的。
怎样可以避免？运行线程减少和采集时间拉长？

303718 · 发表于 2014-9-28 09:20:28

运行线程改成1、采集时间拉长、用代理IP换IP采

帐号		自动登录	找回密码
密码			加入会员