ygltools 发表于 2014-4-3 15:42:17

发现火车头一个BUG

火车头在多分页采集的时候,当分页在1000以上火车头内容采集时不稳定,经常会没有采集完自动停止。

kuhabe 发表于 2014-4-3 17:09:47

这个分页量太多了,采集器会承载不了

303718 发表于 2014-4-3 18:43:02

建议把分页当成列表来采集。

290576138 发表于 2014-4-4 00:36:42

200就不错了,还想1000
话说这个问题,能力问题,客服可能从开发的时候就知道,这个问题也很早都有察觉。

具体是因为网络超时中断造成的,或者说承受能力问题。 准确来说不是BUG,概率事件,要是BUG,俺早就提交了。

290576138 发表于 2014-4-4 00:39:25

强烈要求增加第三种 分页模式,即自定义 分页路径模式,自定义页码范围,加速稳定采集
http://路径/页码范围.后缀。
{path}{file}_{p}{ext}
这样一来,楼主的百分之80的问题都可以有效得到解决,当然有来路判断的还是算了。

290576138 发表于 2014-4-4 00:45:41

火车头最近几个月开发进度实在是太慢,眼瞅着,想买个旗舰版。就看客服的努力了。火车头的能力下限还很深。最好把接口的功能,都集成到旗舰版本,那样就决定买了。

cudd@163.com 发表于 2014-4-4 14:42:11

1000分页,你要玩残火车吗?我要是火车开发人员,我也不跟你这样玩的,1000个分页,随便几个网络延时或者丢包都能让你前功尽弃。

简单处理啊,把分页地址提出来,当成采集页地址去做,采集不再做分页处理。

ygltools 发表于 2014-4-4 19:51:33

303718 发表于 2014-4-3 18:43 static/image/common/back.gif
建议把分页当成列表来采集。



你看又出现这个情况了!!!!

290576138 发表于 2014-6-29 11:41:58

303718 发表于 2014-4-3 18:43 static/image/common/back.gif
建议把分页当成列表来采集。

分页当列表采集 ,为什么内容分页的采集,就不如列表的分页功能?就不能优化下,非要变态着采集。

290576138 发表于 2014-6-29 11:48:22

在这里说下这个BUG

内容的分页只能勉强采集200页
列表的分页经过测试,网络正常的情况下,无此BUG
希望优化下内容分页 200页中断的BUG
页: [1]
查看完整版本: 发现火车头一个BUG