zagj11 发表于 2009-12-31 11:52:01

【建议】采集的时候能够设置Referer！这样就能够采集一部分防盗链的网址和图片

本帖最后由 zagj11 于 2009-12-31 12:06 编辑

也就是Get的时候能够把Referer设置

这样就可以采集那些防采集的网页。比如http://city.qq.com/html/search.htm#district=110000&age=3&sex=0&type=city&page=1

这个地址，用抓包工具抓了网址后采集。上面那个网址采集不了的。
要用：http://city.qq.com/json.php?mod=search&act=page&callback=showSrchResult&jsontype=str&perpage=12&cd=110000&nl=3&xb=0&type=city&pg=1 （ 这里也有个问题。火车采集不了，只能采开头。我用自己写的Form采可以全采。其实也是Referer没设置的原因。 ）

我用正则把img替换，成html格式用火车头采集，采集的图片都是一样的。就是那种“防止盗链的图片”。

我自己写了个程序采集这个网址，图片也采集下来聊。主要是Get时候设置Referer。要是火车能够设置。免得我自己搞。麻烦。而且你们功能也加强了。。。
baidu.com的图片其实也是一个道理，如果可以设置，一样可以采集。。。

=================
调侃：呵呵。虽然我没有续费，但是你们在多加强点功能。我就要续费了。

afanfan2007 发表于 2009-12-31 15:09:03

期待 2010版 功能多了很多.

xhat 发表于 2010-2-21 15:41:21

{:4_196:}2010好像也设置不了

locket 发表于 2010-3-3 17:10:15

搭配火车头web递交那个工具就可以了。
新浪爱问的资料下载里面的下载地址我都可以采集到

zhouchanglin 发表于 2010-6-1 12:19:45

{:4_180:}{:4_197:}{:4_180:}

xhat 发表于 2010-6-4 14:55:25

搭配火车头web递交那个工具就可以了。
新浪爱问的资料下载里面的下载地址我都可以采集到
locket 发表于 2010-3-3 17:10 http://bbs.locoy.com/images/common/back.gif


    如何操作呢？

liuguoxiao 发表于 2010-6-4 16:07:36

如何操作呢，谢谢大家

tomwang 发表于 2010-6-11 14:06:04

火車不是支援通過flashget採集?
flashget不是可以設置Referer??

lbjyuer 发表于 2016-2-8 23:53:02

历史帖子回顾中。
页: [1]
查看完整版本: 【建议】采集的时候能够设置Referer！这样就能够采集一部分防盗链的网址和图片