【求助】采集网址如何设置时间间隔愁死我了

happyfhb · 发表于 2015-3-18 09:10:15

现在遇到这样一个很着急的问题。采集内容的时候可以设置间隔时间。但是采集网址似乎没有设置，照成无法批量采集网址。我采集的数据是几万条的。没有设置时间间隔的地方导致采集几百条对方网站就拒绝了。原因是频繁访问。

求助有什么办法解决吗？

303718 · 发表于 2015-3-18 09:24:33

网址部分目前没得设置，你可以分批采集了。

happyfhb · 发表于 2015-3-18 09:40:34

303718 发表于 2015-3-18 09:24
网址部分目前没得设置，你可以分批采集了。

谢谢老大回复，但是分批采集数量实在是多，不现实。对方设置5秒内可以访问10个页面左右。火车头的采集网址的频率一秒就抓10多个页面自然后面的全部被拒绝了。

梦醒午夜 · 发表于 2015-3-22 07:04:21

我无能为力咯！

lai286438690 · 发表于 2015-3-22 11:36:10

这个你应该上百度搜搜看看

xuzc123 · 发表于 2015-3-22 12:51:54

好像帮不上什么，百度看看吧！

斌之樊篱 · 发表于 2015-3-22 14:09:18

设定代理，不停的更换ip地址采集。这个怎么弄我还不会

xiangban98 · 发表于 2015-3-22 14:37:08

这个你应该上百度搜搜看看

hdwz · 发表于 2015-3-23 09:09:28

这个你应该上百度搜搜看看

winsongm · 发表于 2015-3-23 10:01:45

这个你应该上百度搜搜看看

【求助】采集网址如何设置时间间隔 愁死我了