发新话题
打印

[3.2版] 提一点建议

提一点建议

用了火车有几天了,总体感觉 火车头用起来还是比较简单的
但是 最不能让我忍受的就是采集速度 那个发内容速度太慢,基本上1秒半发一条(我的网速我感觉还是可以的,我机关是100M光纤,晚上下电影基本上都是每秒6M,白天都稳定在2M),我的机器是清华同方P43.0 512内存,应该不是我机器的是,我测试过 20000条数据 用了20个小时整,太慢了,请官方在把速度提高以下,有必要的话,可以牺牲以下硬件资源吗。

还有一点:采集论坛的时候有内容漏采的现象。我测试了一个论坛,他每页是500条,但是每次下来总有哪么几十条有标题但内容是空的,我也针对这几十条测试过,采集规则是没有问题的,请官方注意以下。

再来一点,就是能够设置采集网址,和采集内容能够用mysql或者是mssql 用Access对于采集一些数据量大的网站来说是不行的,毕竟Access数据库的最佳运行范围是<=50M 如果大于800M很严重,以前的时候我曾试过,最终导致网站反应速度很慢不说,还经常死机。


(喝口水,接着说)恩,今天会就先开到这里 大家鼓掌 散会

[ 本帖最后由 xiangboren 于 2008-5-3 09:05 编辑 ]

TOP

积极响应同志们的号召,自己的帖子,沙发自己做

TOP

怎么没人 支持我!不好! 二楼的板凳我也做了

TOP

下一版本采用SQLLITE数据库,查询数度大大提升
火车头商业版购买咨询及规则&模块定制服务:
QQ:509195509&78007024已满请加QQ511566576

孤魂的淘宝网店(已经加入"消费者保障计划")


使用火车头破解版者格杀勿论,传播火车头破解版者株连九族!
+下面是广告时间+--------------------------------------------------------------------------------------
高频变压器论坛TXT小说下载
我的博客:《孤魂居》

出售国内外空间,联系QQ:511566576,价格适中,性价比绝对超高!

TOP

我测试过 20000条数据 用了20个小时整,


LZ是不是也太夸张了,还是目标站的服务器不行啊


2W我采加发好像都在60 分钟左右

20小时能采发NW了

TOP

发新话题
Powered by Discuz! 6.0.0  © 2001-2007 Comsenz Technology Ltd
Processed in 0.195211 second(s), 6 queries, Gzip enabled
当前时区 GMT+8, 现在时间是 2008-7-21 07:10 皖ICP备06000549 清除 Cookies - 联系我们 - 火车采集器官方站 - 静态归档 - WAP