testu 发表于 2015-5-17 14:55:30

建议采集网址设置时间间隔 以防抓列表被封

这个很多网站设置了反抓取功能，抓列表速度一块，就被封锁了。
请增加设置时间间隔功能，稳步抓取。
急需！！！！！！！！！！
谢谢
看到其他人也需要http://bbs.locoy.com/spider-139267-1-4.html

qwaszx18 发表于 2015-6-11 16:40:50

规则有个设置采集时间间隔的，对任何都是生效的吧！！

qwaszx18 发表于 2015-6-11 16:45:54

没有办法，楼主设置代理IP采集吧

lbjyuer 发表于 2016-2-10 22:33:31

支持火车。。。。历史帖子回顾中。
页: [1]
查看完整版本: 建议采集网址设置时间间隔 以防抓列表被封