火车采集器软件交流官方论坛

 找回密码
 加入会员
搜索
火车采集器V9版免费下载火车浏览器 - 可视采集,万能群发,全自动脚本工具
查看: 3536|回复: 2

采集器的采集流程是什么?

[复制链接]
发表于 2007-5-14 08:56:55 | 显示全部楼层 |阅读模式
我观察程序是采集完指定的目标群后统一入库(录入数据库文件方式),能不能采集完一条数据就马上写入数据库文件,然后释放内存,这样在采集大批量数据时内存也不会这么吃紧。
发表于 2007-5-14 13:50:06 | 显示全部楼层
"集完一条数据就马上写入数据库文件",那对硬盘好吗?
 楼主| 发表于 2007-5-21 15:27:21 | 显示全部楼层
现在下bt,那对硬盘的读写可是很猛烈哈,也不见得有人心痛硬盘。建议用户自己决定设置,比如自己定义每50条或者500条或者N条就马上入库,入库可以采取多线程的操作,和采集同步进行,另外一种方法是采取自定义缓冲区大小,比如1024K或者其他数值,满了就写盘(bt下载好像多用这种方法)。
纯属交流。不敢班门弄斧。
您需要登录后才可以回帖 登录 | 加入会员

本版积分规则

QQ|手机版|Archiver|火车采集器官方站 ( 皖ICP备06000549 )

GMT+8, 2025-7-20 19:37

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表