lyf208617 发表于 2012-7-6 10:45:49

为什么前两天版本更新后,采集速度就变得非常非常慢

完全一样的参数设置,采集的网站也是一样的

据我观察好像对大数据量支持有问题?

我一个access下放了20多万待采集网址

我一直用的是自动识别标题和正文。


以前采集的时候,从头到尾速度都差不多的。但是成功率不高,一般也就60%左右

这次更新后,成功率变成了100%,但是采集到几万条之后,速度就变得非常非常慢,采集一条数据需要10多秒(以前1秒左右,不是网速问题)

难道新版本每采集一下就优化一下数据库,才会这么慢?求解决办法

lyf208617 发表于 2012-7-6 10:48:04

PS:以前采集的时候也是经常一个access下放接近30万数据,速度一直正常

rq204 发表于 2012-7-6 11:09:14

access建议采集不超过10万以上的数据,你可以试一下sqlite数据库,如果速度正常,那就是access的影响了。如果还是很慢,请联系我们客服

lyf208617 发表于 2012-7-6 11:54:37

rq204 发表于 2012-7-6 11:09 static/image/common/back.gif
access建议采集不超过10万以上的数据,你可以试一下sqlite数据库,如果速度正常,那就是access的影响了。如 ...

我上面说了,版本更新之前经我常用access放20多万数据的,速度没影响

明明是程序升级后出了问题,怎么反过来要求客户去适应呢

页: [1]
查看完整版本: 为什么前两天版本更新后,采集速度就变得非常非常慢