发新话题
打印

我想了解火车头的采集速度究竟有多快.一小时可以采集多少篇?

我想了解火车头的采集速度究竟有多快.一小时可以采集多少篇?

我想了解火车头的采集速度究竟有多快.一小时可以采集多少篇?我以前经常使用的是动易自带的采集系统和火车头相比的速度如何?哪位大侠了解这两个程序?

TOP

当然是火车快了,另外要看目标网站的速度,如果你采网易,5000-7000条,如果你要采我,呵呵,一个也采不走,因为我没站,哈哈

TOP

这个关键要看你机器配置和网络情况,我的P41.6,256内存,1M带宽,怎么和别人双核CPU,4G内存, 100M光纤的比阿。
天元投资

TOP

我用的1.21版,采了10个多小时3500条都没采完。。。来源站和目标站速度都很快(独享100M,独享10M)。。AMD XP1.8, 512M, 80G, 10M光纤,开10个线程,间隔300毫秒。

我发现,一次性如果采的太多,速度会越来越慢。。如果3500条分成7个500条速度会快很多。。可能只要1小时。

TOP

在线采的话差不多一秒两条

TOP

引用:
原帖由 martinzero 于 2006-4-25 15:06 发表
当然是火车快了,另外要看目标网站的速度,如果你采网易,5000-7000条,如果你要采我,呵呵,一个也采不走,因为我没站,哈哈
晕死,没站还说什么呀

TOP

我设置采集7千条,现在已经5个小时了,才采集了不到1000个,晕死,我原来的时候用别的系统采集同样网站的内容,5个小时已经采集了2万多了!!!!!

TOP

发新话题
Powered by Discuz! 6.0.0  © 2001-2007 Comsenz Technology Ltd
Processed in 0.192439 second(s), 7 queries, Gzip enabled
当前时区 GMT+8, 现在时间是 2008-11-22 21:19 皖ICP备06000549 清除 Cookies - 联系我们 - 火车采集器官方站 - 静态归档