huoche100 发表于 2010-1-5 14:36:48

采集速度太慢。！！！！！！！！！！！！！！！！！！！！！1

1.                  1000条数据，采集下来要等很久，那上十万百万的数据怎么采啊，，，岂不是要等上一个月。。。!!!!!!!!!!!!!!!!!!!!!!!!!!
==================================================================================
2.                  采集费规则间隔的数据。有什么好办法吗？如：一个静态列表页。aaa/299999.html          最大值为30万 ，最小值为1    但列表内其实只有1万条数据，而且是不规则间隔 ......这样的情况如果写采集从1到30万岂不是等到头发都白了。。。。。能怎样优化。。。。。

都市乞丐 发表于 2010-1-5 16:01:49

通过列表方式获取 有效数据

zydxdx 发表于 2010-1-5 16:30:06

对呀 通过列表获取 为什么要自定义链接范围了。。。

abs531413 发表于 2010-1-5 19:16:06

我也想自定义范围采集，就是不知道发布的时候能不能自动分类出来发布。。。
页: [1]
查看完整版本: 采集速度太慢。！！！！！！！！！！！！！！！！！！！！！1