火车头太高级了0级采集链接无法进行

martins99 · 发表于 2007-11-10 17:07:13

分开把　　每次不要超过几百

多了　因为要判断是否为重复连接　

越多连接　要的时间越长

而且是几何的时间增长

redsee · 发表于 2007-11-11 22:15:13

只是得到页面列表时间非常长 1w个页面大概要半个小时然后才开始采集

cofcn · 发表于 2007-11-12 13:07:19

原帖由 martins99 于 2007-11-10 17:07 发表
分开把　　每次不要超过几百

多了　因为要判断是否为重复连接　

越多连接　要的时间越长

而且是几何的时间增长

这可就是BUG了,这样的0级网址,还需要去判断是否为重复链接吗?
0级网址的这种网址形式,本身就代表了不重复,还判断什么呢?

我添加了1-100000的HTML,已经睡了两天了,还没判断结束

帐号		自动登录	找回密码
密码			加入会员

可以 采集的