很奇怪，盼高手！批量采集二级网址不全

itok · 发表于 2008-11-14 10:32:48

困扰我的问题如下，请高手帮忙：
我想一次批量采集多条一级网址下的内容，设置批量一级网址后，开始测试网址采集，发现二级网址采集不全，每次都要隔开几个才能采集到下面的二级网址，但不固定是每次都是那几条采集到，同一个规则连续测试，有时这几条采集得到，有时哪几条采集得到．
只采一条一级网址下的二级网址没问题，但只要列表中超过两条一级网址，肯定出问题。
单任务、延长采集任务时间都不行，请教高手！

这个网站需要cookie

用户名：lshy 密码：123456
我搜的是商情->北美数据->随便搜个2004或2005年的免费数据
我搜得是2005.1-12月-〉toys，其它可不填

请教！

[ 本帖最后由 itok 于 2008-11-16 00:28 编辑 ]

shuashuaba · 发表于 2008-11-14 10:34:45

沙发顶了看看热闹

itok · 发表于 2008-11-14 23:30:34

没人知道原因吗？

itok · 发表于 2008-11-16 00:29:12

顶上去顶上去顶上去

chenfy · 发表于 2008-11-16 10:15:42

这种没有办法，网站有那个防刷新过快的设置

itok · 发表于 2008-11-17 15:49:17

原帖由 chenfy 于 2008-11-16 10:15 发表
这种没有办法，网站有那个防刷新过快的设置

全局设单任务，采集内容设间隔时间为10000毫秒可以以采集全二级网址内容，关键是一级网址不能控制间隔时间

帐号		自动登录	找回密码
密码			加入会员

很奇怪，盼高手！批量采集二级网址不全

本帖子中包含更多资源