虚无空幻 发表于 2015-9-19 00:22:40

这龟速是什么情况啊??太坑了吧






真的无语啊,我之前用智动采集器,但是因为150线程速度太慢(后台显示7-8连接数).还有就是智动采集功能不够强大,所以试下火车.......
怎么这个更慢.... 慢到我无语啊....采了半天还0%.连接数1-3
下载速度0kbs/s.............
试了好几次还是这个速度,完全不行啊.我是自己用数据,而不是上传网站。着急啊。
之前还出现内存占用大,强制重启cpu over的问题,i7 16G的机子应该可以撑住的吧...

感觉时间主要浪费在入库的阶段,都能看到入库的数据.....我一页是40多条....大约0.5秒一次的跳动10条数据,也是醉了....
我用智动采集,4-5秒一次,是40-60个连接(而不是40条数据...)!!!!!

还有就是复制网址不能全部粘贴进去,3w粘进去也就2000来个吧 文件导入,中文url必须转码,否则无法识别....醉了

功能只能说还是比较强大的,性能就真的醉了,除了外观漂亮一些外......我对.net程序的稳定性一直保持悲观态度,更重坑爹的bug....

不知道v9以前的版本是什么效率,哪位大侠上来说说

webbase8 发表于 2015-9-19 18:12:10

有待体验,大家可来探讨一下。。。

虚无空幻 发表于 2015-9-19 20:24:26

webbase8 发表于 2015-9-19 18:12
有待体验,大家可来探讨一下。。。

速度承受不起,前几次正常的情况下,速度在50k左右。宽带完全浪费了

虚无空幻 发表于 2015-9-22 14:50:59

也没有官方回复下,论坛像死了一样....
之前感觉如果功能强大就买基础版.....
谁知道这速度,这稳定性,唉....

caziyo 发表于 2015-9-22 15:31:09

从描述来看应该是数据库的瓶颈,毕竟是sqlite数据库嘛。可以购买收费版本使用mssql或者mysql嘛

虚无空幻 发表于 2015-9-22 17:19:26

caziyo 发表于 2015-9-22 15:31
从描述来看应该是数据库的瓶颈,毕竟是sqlite数据库嘛。可以购买收费版本使用mssql或者mysql嘛 ...

终于有人回复了,一看官方人员,感动的我一把鼻涕一把泪.....
但是看不到实际效果,实在不愿花钱.
我用之前说的智动采集,速度飞快,比较稳定. 不过号称150线程,后台连接数稳定下来也就六七个.
抓取速度一般保持在70-250kb左右.
那个我直接就是文本格式抓取,抓到就放到文本文本末尾.基本1秒可以处理10个链接左右.
但是由于占不满宽带,每次我都得多开5-20个........

不知道火车单进程,最快能占满宽带吗?也就30m的电信.....

caziyo 发表于 2015-9-23 15:32:20

想占满带宽太简单了,做一个下载站的规则即可。
页: [1]
查看完整版本: 这龟速是什么情况啊??太坑了吧