【建议】采集的时候能够设置Referer！这样就能够采集一部分防盗链的网址和图片

zagj11 · 发表于 2009-12-31 11:52:01

本帖最后由 zagj11 于 2009-12-31 12:06 编辑

也就是Get的时候能够把Referer设置

这样就可以采集那些防采集的网页。比如 http://city.qq.com/html/search.h ... ype=city&page=1

这个地址，用抓包工具抓了网址后采集。上面那个网址采集不了的。
要用：http://city.qq.com/json.php?mod= ... ;type=city&pg=1 （这里也有个问题。火车采集不了，只能采开头。我用自己写的Form采可以全采。其实也是Referer没设置的原因。）

我用正则把img替换，成html格式用火车头采集，采集的图片都是一样的。就是那种“防止盗链的图片”。

我自己写了个程序采集这个网址，图片也采集下来聊。主要是Get时候设置Referer。要是火车能够设置。免得我自己搞。麻烦。而且你们功能也加强了。。。
baidu.com的图片其实也是一个道理，如果可以设置，一样可以采集。。。

=================
调侃：呵呵。虽然我没有续费，但是你们在多加强点功能。我就要续费了。

afanfan2007 · 发表于 2009-12-31 15:09:03

期待 2010版功能多了很多.

xhat · 发表于 2010-2-21 15:41:21

2010好像也设置不了

locket · 发表于 2010-3-3 17:10:15

搭配火车头web递交那个工具就可以了。
新浪爱问的资料下载里面的下载地址我都可以采集到

zhouchanglin · 发表于 2010-6-1 12:19:45

xhat · 发表于 2010-6-4 14:55:25

搭配火车头web递交那个工具就可以了。
新浪爱问的资料下载里面的下载地址我都可以采集到
locket 发表于 2010-3-3 17:10

如何操作呢？

liuguoxiao · 发表于 2010-6-4 16:07:36

如何操作呢，谢谢大家

tomwang · 发表于 2010-6-11 14:06:04

火車不是支援通過flashget採集?
flashget不是可以設置Referer??

lbjyuer · 发表于 2016-2-8 23:53:02

历史帖子回顾中。

帐号		自动登录	找回密码
密码			加入会员