caijihome 发表于 2013-12-17 13:46:18

附件下载没使用代理,导致测试的时候一切正常,采集不下载图片

附件下载没使用代理,导致测试的时候一切正常,采集不下载图片
附件下载没使用代理,导致测试的时候一切正常,采集不下载图片
附件下载没使用代理,导致测试的时候一切正常,采集不下载图片

caijihome 发表于 2013-12-17 13:53:51

准确说是 续下载图片的时候 没挂代理采集下载!!
续下载图片的时候 没挂代理采集下载!!
续下载图片的时候 没挂代理采集下载!!
续下载图片的时候 没挂代理采集下载!!

caijihome 发表于 2013-12-17 14:11:54

希望火车头在明年内 能够克服下载附件问题。附件损坏率是最头疼的一件事情,虽然说任何一个东西也不完全都是火车头的原因,也可能是对方或者客户端的网络问题,但是这种问题,开发的时候都应该考虑到,我下载几十G的图片的时候,损坏率就非常明显了,积少成多,100W张图片就有1W张是损坏的。
主要有以下2个问题。
第一 : 支持续下载的附件, 采集不完整的情况下,手动辅助下载之后就损坏了。 本身发生损坏的概率也小。
第二:不支持续下载的附件, 采集不完整的情况下,手动辅助下载之后会重新开始下载,基本没事。但是要从几百万种找到这其中一万,工作量极大。

caijihome 发表于 2013-12-17 14:12:51

几十KB的图片都会发生,更何况软件站,几个M,概率会达到 十分之一,严重的时候。

kuhabe 发表于 2013-12-17 20:21:46

caijihome 发表于 2013-12-17 14:12 static/image/common/back.gif
几十KB的图片都会发生,更何况软件站,几个M,概率会达到 十分之一,严重的时候。

您好,可以贴出规则,我们技术测试下看看呢。

caijihome 发表于 2013-12-18 10:53:04

第一 : 支持续下载的附件, 采集不完整的情况下,手动辅助下载之后就损坏了。
第二:不支持续下载的附件, 采集不完整的情况下,手动辅助下载之后会重新开始下载,基本没事。但是要从几百万种找到这其中一万,工作量极大。
损坏率极高。 下载站就更不用提了,这个说的人就更多了,随便找网站测试下就知道。
第三:当某一个网站打不开的时候,需要挂代理采集,采集的时候,图片是挂着代理采集的,图片没下载成功,续下载的时候 却不挂代理采集,导致无法下载图片。

caijihome 发表于 2013-12-18 10:56:06

caijihome 发表于 2013-12-18 10:53 static/image/common/back.gif
第一 : 支持续下载的附件, 采集不完整的情况下,手动辅助下载之后就损坏了。
第二:不支持续下载的附件 ...

caijihome 发表于 2013-12-24 18:53:43

这个问题什么时候解决呀,起码先把代理问题处理下
测试网址
http://www.daunenparkaoutlet.com/
采集的时候挂着代理采集,图片可以下载,等续下载图片,不挂代理。
页: [1]
查看完整版本: 附件下载没使用代理,导致测试的时候一切正常,采集不下载图片