xiangboren 发表于 2008-5-3 08:57:22

提一点建议

用了火车有几天了，总体感觉 火车头用起来还是比较简单的
但是 最不能让我忍受的就是采集速度 那个发内容速度太慢，基本上1秒半发一条（我的网速我感觉还是可以的，我机关是100M光纤，晚上下电影基本上都是每秒6M，白天都稳定在2M），我的机器是清华同方P43.0 512内存，应该不是我机器的是，我测试过 20000条数据 用了20个小时整，太慢了，请官方在把速度提高以下，有必要的话，可以牺牲以下硬件资源吗。

还有一点：采集论坛的时候有内容漏采的现象。我测试了一个论坛，他每页是500条，但是每次下来总有哪么几十条有标题但内容是空的，我也针对这几十条测试过，采集规则是没有问题的，请官方注意以下。

再来一点，就是能够设置采集网址，和采集内容能够用mysql或者是mssql 用Access对于采集一些数据量大的网站来说是不行的，毕竟Access数据库的最佳运行范围是<=50M 如果大于800M很严重，以前的时候我曾试过，最终导致网站反应速度很慢不说，还经常死机。


(喝口水，接着说)恩，今天会就先开到这里 大家鼓掌 散会:ali11ls

[ 本帖最后由 xiangboren 于 2008-5-3 09:05 编辑 ]

xiangboren 发表于 2008-5-3 09:09:14

积极响应同志们的号召，自己的帖子，沙发自己做:lol

xiangboren 发表于 2008-5-3 09:11:50

怎么没人 支持我！不好！ 二楼的板凳我也做了:lol

孤魂 发表于 2008-5-3 12:24:25

下一版本采用SQLLITE数据库，查询数度大大提升

aven 发表于 2008-5-5 19:05:04

我测试过 20000条数据 用了20个小时整，:ali12ls


LZ是不是也太夸张了，还是目标站的服务器不行啊


2W我采加发好像都在60 分钟左右

20小时能采发NW了

lbjyuer 发表于 2016-2-10 03:14:45

爪，以后学习下。。
页: [1]
查看完整版本: 提一点建议