一百万数据用火车头采集数据需要多长时间?

hxyang

我采集的实际数据:40万    我用的本地4M电信宽带  V8.6 旗舰版
单采集列表用了一天时间（只用到一条规则，四个多级网址获取）， 然后采集内容用了2天多点（内容没有采集图片的,没分页,数据量不大），  还没发布内容上去，    预计发布所有内容在1.5天左右  
整个采集时间共花了5天左右  ，感觉速度是挺慢的       怎么才能提高采集效果呢。 这么采集如果是上千万数据估计得要花两个月才能完成了.  
PS:1、火车头官方的图文吧数据量应该也有上千万吧，不知道采集用了多长时间。
2、听说大数据采集用python 爬虫程序快,实际能有多快，有没有前辈告知下 实际爬虫速度.(一般普通服务器配置)

imfly

数据量大~采集速度加快可以使用各种方法~可分割成多个任务运行~还可提高采集线程数~

老雷

分解成多个任务。
如果条件允许的话，多台电脑采集。

s80022

老雷 发表于 2015-12-29 13:39
分解成多个任务。
如果条件允许的话，多台电脑采集。

基本上他分解多台不大有用....

宽带4M 来个100台火车头也只是互抢。
换成100台爬虫也是抢...

hxyang

s80022 发表于 2016-1-1 11:04
基本上他分解多台不大有用....

宽带4M 来个100台火车头也只是互抢。

确实本地带宽确实太慢了 8M带宽也没快多少，还有就是一个栏目一条规则，单维护规则就累死了，还是等我研究好python爬虫程序，开多线程爬，直接在服务器运行 24小时不定时爬. 直接写入服务器数据库，应该快好多倍.   火车头只适合小量数据采集。  不适合大数据.