关于如何处理分页过多的问题

wuyongking · 发表于 2015-7-2 15:39:33

在使用采集的时候经常会遇到一个页面下有N多个分页的情况，经过多次测试发现只要采集超过一定的数量的页面就会发生下面的情况

试过很多次都不能完美解决，请大神出手！

303718 · 发表于 2015-7-2 16:36:13

这个基本没有办法的了。把这个分页这么多的当成列表页来采了

imfly · 发表于 2015-7-2 17:23:38

将复杂度降低~或者优化规则~或降低采集目标复杂度

wuyongking · 发表于 2015-7-3 16:27:18

谢谢楼上的回复，但是如果当成列表页来采的话0级页面就无法采集

只能有第二页以后的页面，没有第一页，再请高人指导

帐号		自动登录	找回密码
密码			加入会员