百万数量级的采集,有人搞过么?
请问大家有人做过百万数量级以上的采集么?为了毕业论文,最近一直在做淘宝的网店采集,发现问题是灰常的多,而且速度是个大问题,有前辈能交流下心得么? 采集淘宝的好多啊 哈哈我采集过千万级的 回复 2# lypying敢问前辈,对于那些有访问限制,采集一段时间就打不开的网页,有何良策啊? 我也做过的 这个问题不是很大 采集过几十万的,没上百 回复 4# qianglong
请问下采集那种不允许短时间内大量访问的网站,有什么好办法么? 采这么多,如果你不购买商业版。你得采个把月。 回复 7# 303718
其实商业版本一定这么好这么快吗,原来找人做东西时,遇到过那哥们用免费版一样做收费版的采集
很是牛啊, 如果处理大量数据,商业版比免费版快N倍。 快不快看会用不会用,
反正我知道有人用免费版本采了400多万,就4-5天
页:
[1]
2