★★★---2010SP1，低级错误！！！采集遇到网站500错误会跳过重试及自检---★★★

gzfc · 发表于 2010-8-10 10:45:11

本帖最后由 gzfc 于 2010-8-10 10:49 编辑

2010SP1，企业版，winxp-sp3

采集时采到某条网址的时候碰到对方网站出现500错误，火车头不会重试此网址至超时，而是马上去采下一条网址，如果还是500，则马上又去采再下一条网址。

那么结果很多时候就是：下面的网址因为服务器还是存在500错误而全部都一条条的跳过了。

并且，全部采集完了对于500错误而跳过的网址也不进行自检，这样导致采集时发生500错误的页面全部漏采！！！

低级错误！！

gzfc · 发表于 2010-8-12 10:38:01

自己顶到解决为止

gzfc · 发表于 2010-8-31 16:55:36

自己顶到解决为止

skyjoy2010 · 发表于 2010-10-9 09:05:19

我觉得好像也是。是不是500错误我不好说，反正我添加多个列表地址时，他只采集一个就完成了整个任务比如：http://www.abc.com/list/1.html
......................
   http://www.abc.com/list/500.html
   http://www.abc.com/article/1.html
   ......................
   http://www.abc.com/article/500.html
火车采集到http://www.abc.com/list/500.html这里直接完成整个任务了，我倒！

tujianhua · 发表于 2010-10-25 11:03:05

这样的问题太专业火车头是不会给你解决的哈

gzfc · 发表于 2011-5-19 09:28:53

这个问题解决了吗？

帐号		自动登录	找回密码
密码			加入会员