happyfhb 发表于 2015-3-18 09:10:15

【求助】采集网址如何设置时间间隔 愁死我了

现在遇到这样一个很着急的问题。 采集内容的时候可以设置 间隔时间。但是采集网址似乎没有设置，照成无法批量采集网址。我采集的数据是几万条的。没有设置时间间隔的地方 导致采集几百条对方网站就拒绝了。原因是频繁访问。

求助 有什么办法解决吗？

303718 发表于 2015-3-18 09:24:33

网址部分目前没得设置，你可以分批采集了。

happyfhb 发表于 2015-3-18 09:40:34

303718 发表于 2015-3-18 09:24 static/image/common/back.gif
网址部分目前没得设置，你可以分批采集了。

谢谢老大回复，但是分批采集数量实在是多，不现实。对方设置5秒内可以访问10个页面左右。 火车头的采集网址的频率一秒就抓10多个页面自然 后面的全部被拒绝了。

梦醒午夜 发表于 2015-3-22 07:04:21

我无能为力咯！

lai286438690 发表于 2015-3-22 11:36:10

这个你应该上百度搜搜看看

xuzc123 发表于 2015-3-22 12:51:54

好像帮不上什么，百度看看吧！

斌之樊篱 发表于 2015-3-22 14:09:18

设定代理，不停的更换ip地址采集。这个怎么弄我还不会

xiangban98 发表于 2015-3-22 14:37:08

这个你应该上百度搜搜看看

hdwz 发表于 2015-3-23 09:09:28

这个你应该上百度搜搜看看

winsongm 发表于 2015-3-23 10:01:45

这个你应该上百度搜搜看看
页: [1] 2 3 4
查看完整版本: 【求助】采集网址如何设置时间间隔 愁死我了