zx4444 发表于 2008-8-27 15:36:55

为什么采集器采集网址很慢有没有加快的方法呢

无论是3.2还是2008要采集大量数据 都要耗费 好多时间如果采集一个目标站需要60分钟 采集地址就要耗费30-40分钟 反而采集内容挺快 有没有加快的方法呢

sushy 发表于 2008-8-27 16:33:13

如果你网速非常快，不是采集的主要影响因素，那么采集网址的时间将是采集内容时间的2倍。原因是采集网址要写入两个数据库中，而采集内容只写一个数据库。

rq204 发表于 2008-8-27 16:47:20

选中不要检测重复网址，速度SSS

zx4444 发表于 2008-8-27 17:10:59

如果是用TXT导入的 地址   那 是否还要做采集网址的步骤呢    如果用导入地址 采集网址这步就会将导入的地址 写入数据库    还是 不用选择采集地址直接采集内容 在采集内容的时候一起写入数据库呢？

zx4444 发表于 2008-8-27 22:18:49

试了一下 发觉导入的方式在导入地址的时候 非常非常的卡
页: [1]
查看完整版本: 为什么采集器采集网址很慢有没有加快的方法呢