omaman 发表于 2015-3-11 11:53:50

请问如何才大量的规则网址，如：com/?id=10000至10000000

请问如何才大量的规则网址？

如：
http://www.demotest.com/index.php?oid=10000
...
...
http://www.demotest.com/index.php?oid=10000000

我只需要采集页面里的固定内容（大部分页面里还没有内容是空的）。可以要采集的网址实在太多了，不想采集网址导致数据库超大，也不能几百天每天都要设定采集阶梯页面。

逻辑是：读取页面内容，判断采集内容是否为空，不为空就保存。这样数据库也就不会太大。

谢谢！

303718 发表于 2015-3-11 13:35:02

一定要有网址库的。要不采不了内容的。

myles1983 发表于 2015-3-11 13:37:03

大家来顶帖啊。。。

omaman 发表于 2015-3-12 12:19:35

303718 发表于 2015-3-11 13:35 static/image/common/back.gif
一定要有网址库的。要不采不了内容的。

谢谢你的答复，我就放弃了。自己写php来完成这个任务吧。

dongua 发表于 2015-3-12 13:26:11

路过留脚印。。。
页: [1]
查看完整版本: 请问如何才大量的规则网址，如：com/?id=10000至10000000