批量分页采集的问题

nmhyt

采集一个产品列表页
www.XXXX.com?id=产品的id
这个产品id是数字类型的
但是问题是，这个id不一定是连续的
有可能是
1，2，4，5，6，7，16，20.。。
这种
如果，我按照批量分页来采集的话，就总有一些空页面
有什么办法可以避免或者剔除这些空页面么？

vus520

如果是内容页，可以设置内容不得为空