打印

[2008版] 【高手请进】火车采集器采集3000万个网页要多长时间？

在路上

注册会员

Rank: 1

UID: 95446
帖子: 10
活跃度: 16 点
火车车厢: 1 节
注册时间: 2008-10-8

1楼大中小发表于 2008-10-8 16:22 只看该作者

【高手请进】火车采集器采集3000万个网页要多长时间？

如题！
火车采集器采集3000万个网页要多长时间？

在线等、、、

[ 本帖最后由在路上于 2008-10-8 16:26 编辑 ]

TOP

在路上

注册会员

Rank: 1

UID: 95446
帖子: 10
活跃度: 16 点
火车车厢: 1 节
注册时间: 2008-10-8

2楼大中小发表于 2008-10-8 16:29 只看该作者

难道这里没高手吗？

TOP

在路上

注册会员

Rank: 1

UID: 95446
帖子: 10
活跃度: 16 点
火车车厢: 1 节
注册时间: 2008-10-8

3楼大中小发表于 2008-10-8 16:33 只看该作者

没人回？自己顶！！！！！！！！！！！！！！

TOP

沦陷今生

-_-!

管理员

Rank: 9 Rank: 9 Rank: 9

@.@

UID: 3977
帖子: 1374
活跃度: 3033 点
火车车厢: 1469 节
注册时间: 2006-7-10

热心会员勋章无私奉献勋章特殊贡献勋章规则高手勋章模块高手勋章网址高手勋章

4楼大中小发表于 2008-10-8 16:41 只看该作者

一：跟您的互联网速度有关
二：跟目标站访问速度有关
三：跟目标站页面结构有关
四：跟采集规则的编写有关
五：跟你的计算机配置有关

您可以根据1条数据/秒的速率来估计

火车头商业版购买咨询：，火车头商业版售后服务：
提供高难度特殊采集，完美全站采集入库服务。
火车头采集器采集规则定制：[50/个,质量保证]
火车头采集器发布模块定制：[80/个,质量保证]
火车头采集器高级接口定制：[200/个,功能全面]
支付宝担保安全交易：→点击进入安全交易← [推荐国内精彩漫像]
QQ：11351936(人数已满)，QQ：494839368 (技术咨询)，QQ：948423048 (常年在线)，QQ：839461016 (售前客服)

TOP

xyz5200

风火车车手

金牌会员

Rank: 6 Rank: 6

代采，代写规则模块

UID: 63888
帖子: 1024
活跃度: 1189 点
火车车厢: 33 节
注册时间: 2007-8-9

5楼大中小发表于 2008-10-8 16:47 只看该作者

在我的机器上采集分秒一个。发布一秒三个

QQ空间代码
qzone明星空间站 火车头提供公益广告

TOP

在路上

注册会员

Rank: 1

UID: 95446
帖子: 10
活跃度: 16 点
火车车厢: 1 节
注册时间: 2008-10-8

6楼大中小发表于 2008-10-8 16:55 只看该作者

我的情况是：
一：中国电信ADSL 速率：4Mbps；
二：目标站是大站，类似163.com，qq.com；
三：页面结构比较标准；
四：不采集网址，网址直接提供，第一页即为目标页；
五：电脑是奔腾D双核1.8G，内存1G，硬盘120G；

能帮我估算一个大概吗？

1条数据/秒，实在是太慢了！！！这样一天才8万条数据。3000万的话，哇，要1年。我的妈呀！

TOP

chenfy

法号　跑没了

版主

Rank: 7 Rank: 7 Rank: 7

~~~推火车啦

UID: 73092
帖子: 1466
活跃度: 2780 点
火车车厢: 405 节
注册时间: 2007-11-3

7楼大中小发表于 2008-10-8 16:57 只看该作者

楼主，你好牛啊，这么漫长的你都来采集啊？？？真牛，如果真的要采集那么多的话就不是一台电脑能搞定的了

承接规则，价格实惠

有意可到我的淘宝店铺里看看。
为提高信誉，有做低价规则和低价QQ远程帮助或者其它能解决你问题的帮助
QQ:378764705       本QQ不接受聊天
淘宝店址：http://shop36269944.taobao.com/
用支付宝付款，完全可放心

TOP

在路上

注册会员

Rank: 1

UID: 95446
帖子: 10
活跃度: 16 点
火车车厢: 1 节
注册时间: 2008-10-8

8楼大中小发表于 2008-10-8 17:00 只看该作者

我就在想如何能缩短时间啊！！！！！！

假如页面大小只有2－3KB呢？

TOP

在路上

注册会员

Rank: 1

UID: 95446
帖子: 10
活跃度: 16 点
火车车厢: 1 节
注册时间: 2008-10-8

9楼大中小发表于 2008-10-8 17:44 只看该作者

火车一般是针对多少数据量级的网页采集啊？

TOP

在路上

注册会员

Rank: 1

UID: 95446
帖子: 10
活跃度: 16 点
火车车厢: 1 节
注册时间: 2008-10-8

10楼 大中小发表于 2008-10-8 17:46 只看该作者

我的情况是：
一：中国电信ADSL 速率：4Mbps；
二：目标站是大站，类似163.com，qq.com；
三：页面结构比较标准；
四：不采集网址，网址直接提供，第一页即为目标页；
五：电脑是奔腾D双核1.8G，内存1G，硬盘120G；

能帮我估算一个大概吗？

TOP