百万数量级的采集，有人搞过么？

枫阅翘佳人 · 发表于 2011-4-19 21:09:48

请问大家有人做过百万数量级以上的采集么？为了毕业论文，最近一直在做淘宝的网店采集，发现问题是灰常的多，而且速度是个大问题，有前辈能交流下心得么？

lypying · 发表于 2011-4-19 21:21:00

采集淘宝的好多啊哈哈我采集过千万级的

枫阅翘佳人 · 发表于 2011-4-19 22:01:06

回复 2# lypying

敢问前辈，对于那些有访问限制，采集一段时间就打不开的网页，有何良策啊？

qianglong · 发表于 2011-4-19 23:06:52

我也做过的这个问题不是很大

孤魂 · 发表于 2011-4-19 23:16:51

采集过几十万的，没上百

枫阅翘佳人 · 发表于 2011-4-19 23:36:59

回复 4# qianglong

请问下采集那种不允许短时间内大量访问的网站，有什么好办法么？

303718 · 发表于 2011-4-20 08:07:52

采这么多，如果你不购买商业版。你得采个把月。

我是老大 · 发表于 2011-4-20 09:19:38

回复 7# 303718

其实商业版本一定这么好这么快吗，原来找人做东西时，遇到过那哥们用免费版一样做收费版的采集

很是牛啊，

303718 · 发表于 2011-4-20 09:21:24

如果处理大量数据，商业版比免费版快N倍。

我是老大 · 发表于 2011-4-20 20:22:28

快不快看会用不会用，

反正我知道有人用免费版本采了400多万，就4-5天