解决处理大的页面导致死机的问题

iiwork

在采集的时候，出现采集一些大的页面，下载超过10秒，并且采集条数比较大，超过200条的时候，火车就占cpu100%，然后死机，无法继续采集的问题。建议修正网页下载超时，网页过大程序的处理机制。或者添加排除网址列表，即实在有问题，可以手动添加相应的网址列表来排除个别的网址，单纯的网址排除规则会排除掉要采集的页面的。

rq204

发你的规则说明一下问题，谢谢．

iiwork

我发现火车导致死机的时候都是一些大的页面，我用浏览器访问的时候　下载也有些慢，手工排除掉这些页面后，采集便可以继续，然后再到大的页面又死机，所以我觉得应该是在处理网页下载超时，或者页面文本较大的时候，有些问题。

附件是规则，由于天天的更新，所以可能会有现在正常的情况。

lbjyuer

历史帖子回顾中。