cmsengineer 发表于 2010-1-9 14:22:17

正在生成采集地址... 速度慢的解决办法?

欲采集大量网页的内容,数量为百万级。

在生成地址的时候十分慢,打开任务管理器,发现到了几万条以后,内存占用和CPU占用太高。

于是,直接用ACCESS建查询,手动生成这些地址。几分钟就能生成这些地址,其他辅助字段按照格式补零。

本来心想,这下不用生成这么多地址,应该会快一点吧。谁知,火车头还要检查这些地址,逐条地检查,还是很慢。假如不检查呢,他又似乎要重新生成,晕死!

求助!

cmsengineer 发表于 2010-1-9 14:38:28

知道怎么做了。。。 我发现自己好笨,原来只要跳过“采网址”,直接“采内容”就可以了。
页: [1]
查看完整版本: 正在生成采集地址... 速度慢的解决办法?