使用火车采集器3.1，进行论坛全面采集，完全复制

collecterking

接触火车采集器一周时间，觉得其功能真的十分强大，于是，帮朋友采集了一个论坛，实现了论坛的全面采集，完全复制，在这里，把采集方法共享出来，希望与各位共同探讨论坛采集的方法，看看为了达到论坛的全面采集，完全复制，各位还有没有更好的办法。
说明一下：
1、这里所说的论坛全面采集，完全复制是指，采集目标论坛所有的：
帖子、帖子作者、发帖时间、发帖顺序
回复、回复作者、回复时间、回复顺序
甚至可以包括积分、等级……
理论上，应该可以实现论坛完全采集复制
2、采集目标论坛是一个Dvbbs Version 8.1.1
我以其中一个版面为例，列表如图：（图片看不清楚，你可以保存到电脑上浏览图片）

3、我的论坛是一个地方网站的社区论坛
我先将其中帖子清空，如图：

4、列表部分，当然是采集帖子的网址

帖子中的内容，我们主要采集三个：帖子标题、发帖的作者、内容、时间和

回复的作者、内容、时间，实际上，发帖和回复的作者、内容、时间的采集规则是一致的

下面开始设置采集规则，我用录像进行说明

录像下载

最后，采集完成，我们得到了采集数据文件：SpiderResult.mdb，内容是

格式很清楚，标题、内容、作者、时间、版面、PageUrl

至此，论坛数据就采集到了，然后要做的是导入这些数据到我们自己的网站，这个功能，导入论坛数据，火车采集器还无法做到，不知道“大挪移”能否做到，但我没有用过，用过的朋友告诉我。
但是我使用asp就可以，先将采集数据文件：SpiderResult.mdb上传到论坛网站，然后写一个asp文件进行数据导入。
基本思路是：找到论坛数据库中的用户表、帖子表、回复表
注册第一组作者，并且标题、第一组作者、内容、时间入库，作为楼主数据
注册第二组作者，并且第二组作者、内容、时间入库，作为各楼数据

不同的论坛可能有些差别，但是原理应该大体一致。

最后，对比一下，两个论坛
列表对比：




帖子内容对比：




注意，帖子的顺序和时间，所有作者姓名都是一致的……

以上就是我采集论坛的方法，可能不是好方法，但是达到了比较好的目的，多谢火车的强大功能

我的QQ是：82700785
邮箱：myzerospace@163.com
需要采集服务的，进入
需要论坛采集服务的，进入
有兴趣的朋友，可以交流心得

[ 本帖最后由 collecterking 于 2008-1-23 10:08 编辑 ]

laa110

图片挂了,看不到了啊,可惜了!

小齐

应该加分

collecterking

图片弄好了

fadev

高..实在是高啊..

21256

厉害啊

collecterking

不知道，目前采集、复制论坛还有什么方法，很想学习