fsen1215 发表于 2011-4-23 14:35:02

如何解决采集数据时IP被目标网站封掉

HI, 我是一个新手. 我想请教一个问题: 当我在采解淘宝时, 采解一个任务, 不用多久, 我的IP就会被封,然后无法采解到我要的数据, 根本无法做到持续不断的采集. 有什么办法解决这个问题呢? 用代理服务器是唯一的办法吗? 怎么用? 还有更好的解决方法吗?

zyj33 发表于 2011-4-23 16:12:02

火车头不是带了这种功能吗

fsen1215 发表于 2011-4-23 18:54:16

什么功能啊?代理服务器功能?那去买几个代理IP就能解决IP被封的问题,可以顺利采集淘宝吗?

fsen1215 发表于 2011-4-23 19:20:00

就是短时间内无法大量访问网站的,如何解决呢?

hxx_36 发表于 2011-4-23 21:45:51

用随机代理功能就行

fsen1215 发表于 2011-4-23 23:45:16

用随机代理功能就行
hxx_36 发表于 2011-4-23 21:45 http://bbs.locoy.com/images/common/back.gif


    如何使用代理服务功能? 需要添加很多IP地址, 这些IP地址要去买吗?大概需要买多少代理IP地址,才能正常采集 那些同个IP短期不能同时大量访问的网站?

fsen1215 发表于 2011-4-23 23:54:19

怎么使用随机代理呢? 需要输入很多代理IP? 这需要去购买吗? 大概需要买多少个代理IP才能保证正常的采集,大概一次采集十万张以上网页
页: [1]
查看完整版本: 如何解决采集数据时IP被目标网站封掉