aven 发表于 2008-11-29 11:39:25

标签个数与网速！

　
这个问题一直让人很头痛，

标签数目少时，采集速度没说的

但标签一但上十个，速度确实慢了许多


我想问下，采集时每处理一个标签就下载一次源码还是只下载一次？

如果是每处理一个标签就下载一次，这必然会导致速度慢。如果是这种情况

最好加一个cache机制，处理第一个标签时把页面源码cache一下，

其它标签就直接读取cache而不用再下载，这样应该会好很多。

杨为青 发表于 2008-11-29 13:44:35

很好的建议，楼上的有编程基础

aven 发表于 2008-12-3 11:42:08

怎么没人关心这个问题吗？？？？？？？？？？？？？？？？？？？

rq204 发表于 2008-12-19 14:38:04

目前是有些小问题，但并不是你说的哪种。

lbjyuer 发表于 2016-2-9 22:39:30

爪，以后学习下。。
页: [1]
查看完整版本: 标签个数与网速！