happydescant 发表于 2011-7-12 20:27:38

有没有人能帮我做一个软件？很简单的。

本帖最后由 happydescant 于 2011-7-13 09:23 编辑

一个采集好的SpiderResult数据库放在config数据库同目录（user）下。假定任务id为10。
SpiderResult读取一个已发=0的“PageUrl”和“总页数”到config的“任务10”StartUrl和PostPageEnd。SpiderResult的已发改为-1。
执行火车头任务10，任务停止后，重复上一操作。

这么做是因为，要采集上万页post采集页面，而每一条都要单独设置采集规则。这样就需要1万条采集任务。
修改config的两个字段，可以实现一个采集任务，采集所有的信息。适合采集N多post采集。
原求助信息 http://bbs.locoy.com/spider-63092-1-1.html

303718 发表于 2011-7-12 20:46:43

这个可以弄个PHP程序来解决。
页: [1]
查看完整版本: 有没有人能帮我做一个软件？很简单的。