正在生成采集地址... 速度慢的解决办法？

cmsengineer

欲采集大量网页的内容，数量为百万级。

在生成地址的时候十分慢，打开任务管理器，发现到了几万条以后，内存占用和CPU占用太高。

于是，直接用ACCESS建查询，手动生成这些地址。几分钟就能生成这些地址，其他辅助字段按照格式补零。

本来心想，这下不用生成这么多地址，应该会快一点吧。谁知，火车头还要检查这些地址，逐条地检查，还是很慢。假如不检查呢，他又似乎要重新生成，晕死！

求助！

cmsengineer

知道怎么做了。。。 我发现自己好笨，原来只要跳过“采网址”，直接“采内容”就可以了。