发现火车头一个BUG

ygltools · 发表于 2014-4-3 15:42:17

火车头在多分页采集的时候，当分页在1000以上火车头内容采集时不稳定，经常会没有采集完自动停止。

kuhabe · 发表于 2014-4-3 17:09:47

这个分页量太多了，采集器会承载不了

303718 · 发表于 2014-4-3 18:43:02

建议把分页当成列表来采集。

290576138 · 发表于 2014-4-4 00:36:42

200就不错了，还想1000
话说这个问题，能力问题，客服可能从开发的时候就知道，这个问题也很早都有察觉。

具体是因为网络超时中断造成的，或者说承受能力问题。准确来说不是BUG,概率事件，要是BUG，俺早就提交了。

290576138 · 发表于 2014-4-4 00:39:25

强烈要求增加第三种分页模式，即自定义分页路径模式，自定义页码范围，加速稳定采集
http://路径/页码范围.后缀。
{path}{file}_{p}{ext}
这样一来，楼主的百分之80的问题都可以有效得到解决，当然有来路判断的还是算了。

290576138 · 发表于 2014-4-4 00:45:41

火车头最近几个月开发进度实在是太慢，眼瞅着，想买个旗舰版。就看客服的努力了。火车头的能力下限还很深。最好把接口的功能，都集成到旗舰版本，那样就决定买了。

cudd@163.com · 发表于 2014-4-4 14:42:11

1000分页，你要玩残火车吗？我要是火车开发人员，我也不跟你这样玩的，1000个分页，随便几个网络延时或者丢包都能让你前功尽弃。

简单处理啊，把分页地址提出来，当成采集页地址去做，采集不再做分页处理。

ygltools · 发表于 2014-4-4 19:51:33

303718 发表于 2014-4-3 18:43
建议把分页当成列表来采集。

你看又出现这个情况了！！！！

290576138 · 发表于 2014-6-29 11:41:58

303718 发表于 2014-4-3 18:43
建议把分页当成列表来采集。

分页当列表采集，为什么内容分页的采集，就不如列表的分页功能？就不能优化下，非要变态着采集。

290576138 · 发表于 2014-6-29 11:48:22

在这里说下这个BUG

内容的分页只能勉强采集200页
列表的分页经过测试，网络正常的情况下，无此BUG
希望优化下内容分页 200页中断的BUG

帐号		自动登录	找回密码
密码			加入会员