martins99 发表于 2007-11-10 17:07:13

分开把　　每次不要超过几百

多了　因为要判断是否为重复连接　

越多连接　要的时间越长

而且是几何的时间增长

redsee 发表于 2007-11-11 22:15:13

可以 采集的

只是得到页面列表时间非常长1w个页面大概要半个小时 然后才开始采集

cofcn 发表于 2007-11-12 13:07:19

原帖由 martins99 于 2007-11-10 17:07 发表 http://bbs.locoy.com/images/common/back.gif
分开把　　每次不要超过几百

多了　因为要判断是否为重复连接　

越多连接　要的时间越长

而且是几何的时间增长
这可就是BUG了,这样的0级网址,还需要去判断是否为重复链接吗?
0级网址的这种网址形式,本身就代表了不重复,还判断什么呢?

我添加了1-100000的HTML,已经睡了两天了,还没判断结束ali13ls :ali10ls
页: 1 [2]
查看完整版本: 火车头太高级了0级采集链接无法进行