求助：列表页源码中无内容页信息时如何获取内容页网址

helianling · 发表于 2016-6-23 15:30:49

本帖最后由 helianling 于 2016-6-23 15:39 编辑

如图设置列表页（如上图），【网址采集测试】无法获取到内容网址（如下图），请教各位高人问题出在哪里？如何获取？谢谢。

注：通过抓包工具获得ID（页面源码没有ID信息）

js2016 · 发表于 2016-6-23 18:43:49

本帖最后由 js2016 于 2016-6-24 18:43 编辑

别整了，这个网站设置了反爬虫，模拟HTTP请求总返回403 Forbidden，一般人破不了

helianling · 发表于 2016-6-23 20:48:07

我使用其他的采集器已经采集了这个网站。
火车头应该可以同样采集，只是不知道是规则配置问题还是免费版不支持？
现在这样的网站越来越多，如果火车头采集不了，杯具了~~~~~~

js2016 · 发表于 2016-6-24 19:08:08

helianling 发表于 2016-6-23 20:48
我使用其他的采集器已经采集了这个网站。
火车头应该可以同样采集，只是不知道是规则配置问题还是免费版不 ...

是通过模拟HTTP请求来采集的吗？还是通过内置浏览器？我抓了完整的包，再模拟却出现403，不明所以

27080363 · 发表于 2016-7-2 15:34:29

4444444444444444444444444444

帐号		自动登录	找回密码
密码			加入会员