正在生成采集地址... 速度慢的解决办法?
欲采集大量网页的内容,数量为百万级。在生成地址的时候十分慢,打开任务管理器,发现到了几万条以后,内存占用和CPU占用太高。
于是,直接用ACCESS建查询,手动生成这些地址。几分钟就能生成这些地址,其他辅助字段按照格式补零。
本来心想,这下不用生成这么多地址,应该会快一点吧。谁知,火车头还要检查这些地址,逐条地检查,还是很慢。假如不检查呢,他又似乎要重新生成,晕死!
求助! 知道怎么做了。。。 我发现自己好笨,原来只要跳过“采网址”,直接“采内容”就可以了。
页:
[1]