查看完整版本: 提一点建议

xiangboren 2008-5-3 08:57

提一点建议

用了火车有几天了,总体感觉 火车头用起来还是比较简单的
但是 最不能让我忍受的就是采集速度 那个发内容速度太慢,基本上1秒半发一条(我的网速我感觉还是可以的,我机关是100M光纤,晚上下电影基本上都是每秒6M,白天都稳定在2M),我的机器是清华同方P43.0 512内存,应该不是我机器的是,我测试过 20000条数据 用了20个小时整,太慢了,请官方在把速度提高以下,有必要的话,可以牺牲以下硬件资源吗。

还有一点:采集论坛的时候有内容漏采的现象。我测试了一个论坛,他每页是500条,但是每次下来总有哪么几十条有标题但内容是空的,我也针对这几十条测试过,采集规则是没有问题的,请官方注意以下。

再来一点,就是能够设置采集网址,和采集内容能够用mysql或者是mssql 用Access对于采集一些数据量大的网站来说是不行的,毕竟Access数据库的最佳运行范围是<=50M 如果大于800M很严重,以前的时候我曾试过,最终导致网站反应速度很慢不说,还经常死机。


(喝口水,接着说)恩,今天会就先开到这里 大家鼓掌 散会:ali11ls

[[i] 本帖最后由 xiangboren 于 2008-5-3 09:05 编辑 [/i]]

xiangboren 2008-5-3 09:09

积极响应同志们的号召,自己的帖子,沙发自己做:lol

xiangboren 2008-5-3 09:11

怎么没人 支持我!不好! 二楼的板凳我也做了:lol

孤魂 2008-5-3 12:24

下一版本采用SQLLITE数据库,查询数度大大提升

aven 2008-5-5 19:05

我测试过 20000条数据 用了20个小时整,:ali12ls


LZ是不是也太夸张了,还是目标站的服务器不行啊


2W我采加发好像都在60 分钟左右

20小时能采发NW了
页: [1]
查看完整版本: 提一点建议
售前客服QQ: 火车采集器客服 rq204, 火车采集器客服 飞越无限火车采集器客服 孤魂, 联系电话:0551-3495249(技术合作问题) 023-58436018 (08:00-20:00-客服),0752-2553545(09:00-20:00-客服)