汗一把....地址加了一晚上还没加好

longzu1984 · 发表于 2008-1-17 11:41:30

采集了1000来个网页,结果有17W多符合的网址,结果昨天5点的时候开始"采网址....添加到数据库",现在11.36了,还剩下5W多没添加,晕一个

现在火车头的内存占用已经到了74M了,CPU也占用到了80%左右

有没有办法,让添加的地址不要去验证是否存在啊?数据一多,加网址的速度.....刚开始的时候,数据库没网址,加起来是字都看不清楚,现在,半秒一个网址的加,还有5W多,算一下时间.....

50000*0.5/3600=7小时

6683637 · 发表于 2008-1-17 12:04:01

好像总体设置那可以设置
你看下

飛越無限 · 发表于 2008-1-17 12:04:32

呵呵,.我也是这样过来的.sp4出来以后就可以过滤重复的网址了

longzu1984 · 发表于 2008-1-17 12:12:44

我看了一下,全部采的话,有近70W.......

帐号		自动登录	找回密码
密码			加入会员

汗一把....地址加了一晚上还没加好

浏览过的版块