附件下载没使用代理，导致测试的时候一切正常，采集不下载图片

caijihome

附件下载没使用代理，导致测试的时候一切正常，采集不下载图片
附件下载没使用代理，导致测试的时候一切正常，采集不下载图片
附件下载没使用代理，导致测试的时候一切正常，采集不下载图片

caijihome

准确说是 续下载图片的时候 没挂代理采集下载！！
续下载图片的时候 没挂代理采集下载！！
续下载图片的时候 没挂代理采集下载！！
续下载图片的时候 没挂代理采集下载！！

caijihome

希望火车头在明年内 能够克服下载附件问题。附件损坏率是最头疼的一件事情，虽然说任何一个东西也不完全都是火车头的原因，也可能是对方或者客户端的网络问题，但是这种问题，开发的时候都应该考虑到，我下载几十G的图片的时候，损坏率就非常明显了，积少成多，100W张图片就有1W张是损坏的。
主要有以下2个问题。
第一 ： 支持续下载的附件， 采集不完整的情况下，手动辅助下载之后就损坏了。 本身发生损坏的概率也小。
第二：不支持续下载的附件， 采集不完整的情况下，手动辅助下载之后会重新开始下载，基本没事。但是要从几百万种找到这其中一万，工作量极大。

caijihome

几十KB的图片都会发生，更何况软件站，几个M，概率会达到 十分之一，严重的时候。

kuhabe

caijihome 发表于 2013-12-17 14:12
几十KB的图片都会发生，更何况软件站，几个M，概率会达到 十分之一，严重的时候。

您好，可以贴出规则，我们技术测试下看看呢。

caijihome

第一 ： 支持续下载的附件， 采集不完整的情况下，手动辅助下载之后就损坏了。
第二：不支持续下载的附件， 采集不完整的情况下，手动辅助下载之后会重新开始下载，基本没事。但是要从几百万种找到这其中一万，工作量极大。
损坏率极高。 下载站就更不用提了，这个说的人就更多了，随便找网站测试下就知道。
第三：当某一个网站打不开的时候，需要挂代理采集，采集的时候，图片是挂着代理采集的，图片没下载成功，续下载的时候 却不挂代理采集，导致无法下载图片。

caijihome

caijihome 发表于 2013-12-18 10:53
第一 ： 支持续下载的附件， 采集不完整的情况下，手动辅助下载之后就损坏了。
第二：不支持续下载的附件 ...

caijihome

这个问题什么时候解决呀，起码先把代理问题处理下
测试网址
http://www.daunenparkaoutlet.com/
采集的时候挂着代理采集，图片可以下载，等续下载图片，不挂代理。