提一点建议

xiangboren · 发表于 2008-5-3 08:57:22

用了火车有几天了，总体感觉火车头用起来还是比较简单的
但是最不能让我忍受的就是采集速度那个发内容速度太慢，基本上1秒半发一条（我的网速我感觉还是可以的，我机关是100M光纤，晚上下电影基本上都是每秒6M，白天都稳定在2M），我的机器是清华同方P43.0 512内存，应该不是我机器的是，我测试过 20000条数据用了20个小时整，太慢了，请官方在把速度提高以下，有必要的话，可以牺牲以下硬件资源吗。

还有一点：采集论坛的时候有内容漏采的现象。我测试了一个论坛，他每页是500条，但是每次下来总有哪么几十条有标题但内容是空的，我也针对这几十条测试过，采集规则是没有问题的，请官方注意以下。

再来一点，就是能够设置采集网址，和采集内容能够用mysql或者是mssql 用Access对于采集一些数据量大的网站来说是不行的，毕竟Access数据库的最佳运行范围是<=50M 如果大于800M很严重，以前的时候我曾试过，最终导致网站反应速度很慢不说，还经常死机。

(喝口水，接着说)恩，今天会就先开到这里大家鼓掌散会

[ 本帖最后由 xiangboren 于 2008-5-3 09:05 编辑 ]

xiangboren · 发表于 2008-5-3 09:09:14

积极响应同志们的号召，自己的帖子，沙发自己做

xiangboren · 发表于 2008-5-3 09:11:50

怎么没人支持我！不好！二楼的板凳我也做了

孤魂 · 发表于 2008-5-3 12:24:25

下一版本采用SQLLITE数据库，查询数度大大提升

aven · 发表于 2008-5-5 19:05:04

我测试过 20000条数据用了20个小时整，

LZ是不是也太夸张了，还是目标站的服务器不行啊

2W我采加发好像都在60 分钟左右

20小时能采发NW了

lbjyuer · 发表于 2016-2-10 03:14:45

爪，以后学习下。。

帐号		自动登录	找回密码
密码			加入会员