枫阅翘佳人 发表于 2011-4-19 21:09:48

百万数量级的采集,有人搞过么?

请问大家有人做过百万数量级以上的采集么?为了毕业论文,最近一直在做淘宝的网店采集,发现问题是灰常的多,而且速度是个大问题,有前辈能交流下心得么?

lypying 发表于 2011-4-19 21:21:00

采集淘宝的好多啊 哈哈我采集过千万级的

枫阅翘佳人 发表于 2011-4-19 22:01:06

回复 2# lypying

敢问前辈,对于那些有访问限制,采集一段时间就打不开的网页,有何良策啊?

qianglong 发表于 2011-4-19 23:06:52

我也做过的 这个问题不是很大

孤魂 发表于 2011-4-19 23:16:51

采集过几十万的,没上百

枫阅翘佳人 发表于 2011-4-19 23:36:59

回复 4# qianglong


    请问下采集那种不允许短时间内大量访问的网站,有什么好办法么?

303718 发表于 2011-4-20 08:07:52

采这么多,如果你不购买商业版。你得采个把月。

我是老大 发表于 2011-4-20 09:19:38

回复 7# 303718


其实商业版本一定这么好这么快吗,原来找人做东西时,遇到过那哥们用免费版一样做收费版的采集

很是牛啊,

303718 发表于 2011-4-20 09:21:24

如果处理大量数据,商业版比免费版快N倍。

我是老大 发表于 2011-4-20 20:22:28

快不快看会用不会用,

反正我知道有人用免费版本采了400多万,就4-5天
页: [1] 2
查看完整版本: 百万数量级的采集,有人搞过么?