使用批量采集网页的问题

xsstl · 发表于 2006-12-18 17:05:37

我一次性需要采集一百多万页，如果程序能够匹配一个网址，采一个网址的方式就更好，不像现在，一次性要获取这一百多万个地址的列表，机器差不多瘫痪了，这算不算一个bug.

soholiu · 发表于 2006-12-19 06:11:15

UP,此问题提得好

天毅 · 发表于 2006-12-19 09:27:26

您能不能分成几百份来采集？
要不您久买一台银河来采

您这种要求就象在用80年代的PC玩现在的游戏
可能吗？

这不是火车头的问题

xsstl · 发表于 2006-12-19 14:17:44

我不过是提个意见,火车头很好,但是也会有些不如意的地方,我的意见可能不够好,有用就采纳,没用就别理睬了.

winsongm · 发表于 2006-12-19 15:05:10

这个问题不错，我也遇到这方面的问题，采集几万条，成功采集5000条后，之后就死了，内存占用100%，火车在释放内存方面有问题~~我尝试过用内存整理软件整理，整理后变回50%左右，但火车还是定住了，开不动，十秒左右，又跳回占用100%内存，希望这方面有改进