火车采集器软件交流官方论坛

 找回密码
 加入会员
搜索
火车采集器V9版免费下载火车浏览器 - 可视采集,万能群发,全自动脚本工具
查看: 2029|回复: 1

有没有人能帮我做一个软件?很简单的。

[复制链接]
发表于 2011-7-12 20:27:38 | 显示全部楼层 |阅读模式
本帖最后由 happydescant 于 2011-7-13 09:23 编辑

一个采集好的SpiderResult数据库放在config数据库同目录(user)下。假定任务id为10。
SpiderResult读取一个已发=0的“PageUrl”和“总页数”到config的“任务10”StartUrl和PostPageEnd。SpiderResult的已发改为-1。
执行火车头任务10,任务停止后,重复上一操作。

这么做是因为,要采集上万页post采集页面,而每一条都要单独设置采集规则。这样就需要1万条采集任务。
修改config的两个字段,可以实现一个采集任务,采集所有的信息。适合采集N多post采集。
原求助信息 http://bbs.locoy.com/spider-63092-1-1.html
发表于 2011-7-12 20:46:43 | 显示全部楼层
这个可以弄个PHP程序来解决。
您需要登录后才可以回帖 登录 | 加入会员

本版积分规则

QQ|手机版|Archiver|火车采集器官方站 ( 皖ICP备06000549 )

GMT+8, 2024-11-18 22:55

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表