枫阅翘佳人 发表于 2011-4-19 21:09:48

百万数量级的采集，有人搞过么？

请问大家有人做过百万数量级以上的采集么？为了毕业论文，最近一直在做淘宝的网店采集，发现问题是灰常的多，而且速度是个大问题，有前辈能交流下心得么？

lypying 发表于 2011-4-19 21:21:00

采集淘宝的好多啊 哈哈我采集过千万级的

枫阅翘佳人 发表于 2011-4-19 22:01:06

回复 2# lypying

敢问前辈，对于那些有访问限制，采集一段时间就打不开的网页，有何良策啊？

qianglong 发表于 2011-4-19 23:06:52

我也做过的 这个问题不是很大

孤魂 发表于 2011-4-19 23:16:51

采集过几十万的，没上百

枫阅翘佳人 发表于 2011-4-19 23:36:59

回复 4# qianglong


    请问下采集那种不允许短时间内大量访问的网站，有什么好办法么？

303718 发表于 2011-4-20 08:07:52

采这么多，如果你不购买商业版。你得采个把月。

我是老大 发表于 2011-4-20 09:19:38

回复 7# 303718


其实商业版本一定这么好这么快吗，原来找人做东西时，遇到过那哥们用免费版一样做收费版的采集

很是牛啊，

303718 发表于 2011-4-20 09:21:24

如果处理大量数据，商业版比免费版快N倍。

我是老大 发表于 2011-4-20 20:22:28

快不快看会用不会用，

反正我知道有人用免费版本采了400多万，就4-5天
页: [1] 2
查看完整版本: 百万数量级的采集，有人搞过么？