这个仙女屋怎么采集不到网址列表啊？邪门了
http://www.xiannvw.com/zhubo/SK/yisuwan/1.html怎么设置都不行！ 提示区域设置内找不到，但是绝对填的对呀？
谁能帮看一下吗?谢谢了
返回码：521，表明网站设置了反爬虫策略。
"正常浏览器第一次访问该站，返回521的错误状态码，与此同时还会返回回一个Cookie。浏览器接受到状态码与Cookie，会再次进行一次请求，因为接收到了Set-Cookie，所以第二次的Request Headers会附上之前接收到的Cookie。"以上是知乎上某人的关于521的解释。
这样的话，我们可以利用火车采集器“登录采集功能”来采集（虽然我们不需要登录，但是一样要利用Cookie）
具体的方法是在其他设置-Http请求设置-Cookie-使用浏览器获取采集登录信息
js2016 发表于 2016-5-3 21:32
返回码：521，表明网站设置了反爬虫策略。
"正常浏览器第一次访问该站，返回521的错误状态码，与此同时还会 ...
真是太感谢了 ！！
页:
[1]