论坛 › 采集器基础使用讨论区 › 采集器的采集流程是什么？

ember 发表于 2007-5-14 08:56:55

采集器的采集流程是什么？

我观察程序是采集完指定的目标群后统一入库（录入数据库文件方式），能不能采集完一条数据就马上写入数据库文件，然后释放内存，这样在采集大批量数据时内存也不会这么吃紧。

rq204 发表于 2007-5-14 13:50:06

"集完一条数据就马上写入数据库文件",那对硬盘好吗？

ember 发表于 2007-5-21 15:27:21

现在下bt，那对硬盘的读写可是很猛烈哈，也不见得有人心痛硬盘。建议用户自己决定设置，比如自己定义每50条或者500条或者N条就马上入库，入库可以采取多线程的操作，和采集同步进行，另外一种方法是采取自定义缓冲区大小，比如1024K或者其他数值，满了就写盘（bt下载好像多用这种方法）。
纯属交流。不敢班门弄斧。

查看完整版本: 采集器的采集流程是什么？