火车头对大数据量的采集，现在水平咋样了？

5422811 · 发表于 2016-2-26 18:32:43

我用过付费的火车头也有很多年了，对于数据量较少的需求，确实是还比较好用。

这次想采集一批可能几千万条的数据，可能几百G。

采集的时候可能需要分散很多的代理ip来采集。

想知道，这种情况下，火车头能胜任吗？

除了火车头，还有其他方案吗？ python应该是一个吧。还有其他容易入门一些的方案吗？

求指教。

303718 · 发表于 2016-2-27 08:53:04

火车头是最佳选择了

asrsq · 发表于 2016-2-27 15:08:31

楼主想干嘛。。。会不会和我想的一样。。。

5422811 · 发表于 2016-2-27 16:13:21

asrsq 发表于 2016-2-27 15:08
楼主想干嘛。。。会不会和我想的一样。。。

那你想干嘛。。。

你说说看，然后我看看是不是跟你的一样。。。

softstar2009 · 发表于 2016-3-2 21:05:32

是在做广告吗？

5422811 · 发表于 2016-3-4 12:31:51

不是。最近打算采集千万以上的数据。考虑要不要自己用python来实现。

如果是千万级别的数据，火车头能行？

1、火车头用代理ip分布式采集，好用不？
2、火车头一个任务这么大的数据量，用mysql数据能行吗？（之前我是只用过sqlite）

帐号		自动登录	找回密码
密码			加入会员