5422811 发表于 2016-2-26 18:32:43

火车头对大数据量的采集，现在水平咋样了？



我用过付费的火车头也有很多年了， 对于数据量较少的需求， 确实是还比较好用。

这次想采集一批可能几千万条的数据， 可能几百G。

采集的时候可能需要分散很多的代理ip来采集。


想知道，这种情况下，火车头能胜任吗？


除了火车头，还有其他方案吗？python应该是一个吧。 还有其他容易入门一些的方案吗？

求指教。

303718 发表于 2016-2-27 08:53:04

火车头是最佳选择了

asrsq 发表于 2016-2-27 15:08:31

楼主 想干嘛。。。会不会和我想的一样。。。

5422811 发表于 2016-2-27 16:13:21

asrsq 发表于 2016-2-27 15:08
楼主 想干嘛。。。会不会和我想的一样。。。

那你想干嘛。。。

你说说看， 然后我看看是不是跟你的一样。。。

softstar2009 发表于 2016-3-2 21:05:32

是在做广告吗？

5422811 发表于 2016-3-4 12:31:51

不是。最近打算采集千万以上的数据。 考虑要不要自己用python来实现。

如果是千万级别的数据， 火车头能行？

1、火车头用代理ip分布式采集，好用不？
2、火车头一个任务这么大的数据量，用mysql数据能行吗？（之前我是只用过sqlite）
页: [1]
查看完整版本: 火车头对大数据量的采集，现在水平咋样了？