关于吃内存的看法

河南二手网

大家都知道3.1比较吃内存
我也深有体会
不过我到发现一个现象
消耗内存大小跟采集数据的每个字段的大小有关
如果只采集一个电话号码
即使采集的页面多
内存消耗也不是很大

但如果是采集论坛那种有数据量比较大的字段
内存消耗就非常快了

我想不会是因为火车头把所有的数据都放到内存里面
才会有这种现象吧
如果是这样3.1的处理机制实在太糟糕了
数据量小的时候尚可,一旦数据量大,对配置低的机器简直就是恶梦
迫切希望3.2里面采取更好的处理机制