火车采集器软件交流官方论坛

 找回密码
 加入会员
搜索
火车采集器V9版免费下载火车浏览器 - 可视采集,万能群发,全自动脚本工具
查看: 7839|回复: 5

火车头对大数据量的采集,现在水平咋样了?

[复制链接]
发表于 2016-2-26 18:32:43 | 显示全部楼层 |阅读模式


我用过付费的火车头也有很多年了, 对于数据量较少的需求, 确实是还比较好用。

这次想采集一批可能几千万条的数据, 可能几百G。

采集的时候可能需要分散很多的代理ip来采集。


想知道,这种情况下,火车头能胜任吗?


除了火车头,还有其他方案吗?  python应该是一个吧。 还有其他容易入门一些的方案吗?

求指教。
发表于 2016-2-27 08:53:04 | 显示全部楼层
火车头是最佳选择了
发表于 2016-2-27 15:08:31 | 显示全部楼层
楼主 想干嘛。。。会不会和我想的一样。。。
 楼主| 发表于 2016-2-27 16:13:21 | 显示全部楼层
asrsq 发表于 2016-2-27 15:08
楼主 想干嘛。。。会不会和我想的一样。。。

那你想干嘛。。。

你说说看, 然后我看看是不是跟你的一样。。。
发表于 2016-3-2 21:05:32 | 显示全部楼层
是在做广告吗?
 楼主| 发表于 2016-3-4 12:31:51 | 显示全部楼层
不是。  最近打算采集千万以上的数据。 考虑要不要自己用python来实现。

如果是千万级别的数据, 火车头能行?

1、火车头用代理ip分布式采集,好用不?
2、火车头一个任务这么大的数据量,用mysql数据能行吗?  (之前我是只用过sqlite)
您需要登录后才可以回帖 登录 | 加入会员

本版积分规则

QQ|手机版|Archiver|火车采集器官方站 ( 皖ICP备06000549 )

GMT+8, 2025-7-8 10:34

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表