18073157473 发表于 2020-9-4 14:54:55

多级列表的分页采集可不可以像批量网址那样使用通配符...

场景说明:
网站有多级列表,列表的分页在源码中只显示到50页,但通过替换网址参数,可以展现到500页。如果用多级列表采集,则只能采到50页,而我想采集到500页。

因为网站的列表页实在是太多了,所以不方便使用批量网址采集(如果用批量网址,我得添加上W次)

问题:多级列表有没有类似于“批量网址”的功能,不从源码中获取分页,直接使用通配符匹配分页?

或者有其他的解决办法也行。

如下图。该网站有6级以上的列表,预估最高有8级列表。如果把全部列表+列表分页的网址统计出来估计得有几百万个列表页。

leweizxl 发表于 2020-9-9 16:42:20

您好,根据您的描述来看,您要的目标内容页可能存在不同的层级的列表页中,这种是无法通过一个采集规则完成的,
建议您考虑使用火车浏览器尝试处理,做相应的逻辑判断
页: [1]
查看完整版本: 多级列表的分页采集可不可以像批量网址那样使用通配符...