请问如何才大量的规则网址，如：com/?id=10000至10000000

omaman

请问如何才大量的规则网址？

如：
http://www.demotest.com/index.php?oid=10000
...
...
http://www.demotest.com/index.php?oid=10000000

我只需要采集页面里的固定内容（大部分页面里还没有内容是空的）。可以要采集的网址实在太多了，不想采集网址导致数据库超大，也不能几百天每天都要设定采集阶梯页面。

逻辑是：读取页面内容，判断采集内容是否为空，不为空就保存。这样数据库也就不会太大。

谢谢！

303718

一定要有网址库的。要不采不了内容的。

myles1983

大家来顶帖啊。。。

omaman

303718 发表于 2015-3-11 13:35
一定要有网址库的。要不采不了内容的。

谢谢你的答复，我就放弃了。自己写php来完成这个任务吧。

dongua

路过留脚印。。。