wcwc777 发表于 2013-1-21 16:16:57

延时采集

请教各位高手1个问题，我要采集1个网站的产品列表页，分页的地址都已知了，比如 http://******30***page5，这个地址里30表示的是 此页面展示30个产品，page5代表的是分页页码， 这是我通过点击页面里的按钮后才变换来的，默认的页面则是 http://******10***page1 这样的。 我把分页地址都提交给火车头采集，火车头都是采集到默认的这个野蛮，后来我把 http://******30***page5这个地址放到其他浏览器上查看后才发现， 页面先展示的 是http://******10***page1这个页面内容（当然地址还是http://******30***page5），同时对服务器进行ajax请求，几秒后才变成 http://******30***page5 页面的内容。 请问这样的页面要如何采集？

303718 发表于 2013-1-21 16:18:23

这种应该得弄插件才能采集得到的了

wcwc777 发表于 2013-1-21 16:19:20

我是想说能否让火车头 打开每个页面的时候 延迟几秒才进行采集。就是不知道是否有这样的功能或者方式

303718 发表于 2013-1-21 16:20:23

默认没有本功能。可以尝试通过插件解决

wcwc777 发表于 2013-1-21 16:22:51

303718 发表于 2013-1-21 16:18 static/image/common/back.gif
这种应该得弄插件才能采集得到的了

你是说 采用类是与抓包工具那样的方式，也就是通常post等方式嘛？但我是觉得我这个地址什么的 是有变化的，只是会延时才展示出来，所以能否有延时采集这样的方式呢？

303718 发表于 2013-1-21 16:24:45

现在的版本默认是没有延时采集功能的。
页: [1]
查看完整版本: 延时采集