火车采集器软件交流官方论坛

 找回密码
 加入会员
搜索
火车采集器V9版免费下载火车浏览器 - 可视采集,万能群发,全自动脚本工具
查看: 7809|回复: 5

关于论坛采集 数据发布到网站的一些问题(内容贴详细 请阅)

[复制链接]
发表于 2007-11-15 01:39:41 | 显示全部楼层 |阅读模式
3火车车厢
我这边程序是:discuz 6.0 程序....

因为我的采集数量比较多 每天要更新1-2万内容...

因为我的discuz 6.0 (网站与数据库是分离形式)如果我直接选择web发布的话,会造成很大的死循环。

偶尔 mysql会出现 1135 内存提示 等... 或者直接 2003提示mysql无连接 要过好久一会才能正常恢复

这样就很影用户浏览论坛内容....

我是这么想的,请大家指点一下,不知道是否可行。

将论坛数据库放在本机一份和论坛程序... 之后进行采集任务,采集完成以后。将数据库表文件上传服务器。
(不知道论坛程序要不要同时上传)

这样的话,我想应该会好一些吧...至少不影响服务器的速度与用户浏览。

但是,因为我没有明确的进行测试,想先对大家进行一下了解。

如果我这样操作的话,将数据库覆盖后,论坛上显示的比如 总帖子数量与显示在版块上的 今日(1222)贴 会不会显示呢?

明天晚上进行一下测试,有经验的可以明确的回答我一下。 先赚3个火车头再说....

您只要告诉我 这样是不是能行?

但是您还要告诉我在开火车的时间 应该如何设置?

发表于 2007-11-15 03:09:16 | 显示全部楼层
这样,先备份你所有的论坛数据库数据,这里的备份,是直接把你的Mysql数据库文件夹给我复制到本地文件夹!

可能有两个问题,
一是你是不是虚拟主机用户,是的话叫主机商给你压缩后传一下!需要中止Mysql服务!
二,用Mysql自带的备份和恢复八成会失败,根据版本不同~~

那么,可以使用DZ自带的数据库备份,如果数据库很大,因为你一天更新一万多~~这样产生的分卷可能也很多,所以这也是一个问题!

两个方法可以把数据库拿回本地,在本地装DZ后分别用对应上述方法用数据库恢复!

采集以后用同样的方法上传 到服务器恢复!

这样相当麻烦!!

其实我主要想说的是 数据库的远程同步传输~~

就一个软件就可以了!!
只要你是独立服务器,或者和主机商很熟悉,就很方便!!

开一个任意主机的用户,建立连接上传下载十分方便!!

说到这里,价值已经超过50元了!!
休息~~
发表于 2007-11-15 10:38:34 | 显示全部楼层
dts               
 楼主| 发表于 2007-11-15 12:59:31 | 显示全部楼层
我是独立的服务器用户  我先将mysql停止 之后放到本地开始进行采集 直接入库
采集完毕以后 上服务器将mysql停止 覆盖我最新的数据库。 开启mysql  应该就可以了吧
发表于 2007-11-15 15:01:46 | 显示全部楼层
独立服务器
你使用的是独立网页服务器还是数据库服务器,你说两者是分开的!~

你是独立的数据库,那么你可以直接把你的数据库下载回本地!然后采集!

采集以后上传到服务器就可以!但这样但会丢失一些数据!
推荐使用数据库同步更新!
发表于 2007-11-16 09:09:23 | 显示全部楼层

建议采用mysql数据库同步方式

讲话怎么能只讲一半?

MySql数据库同步更新设置
设置方法:
设置范例环境:
  操作系统:Windows 2000 Professional
  MySQL:4.0.4-beta-max-nt-log
  A IP:10.10.10.22
  B IP:10.10.10.53

主从模式:A->B
  A为master
  修改A的my.ini文件,在mysqld配置项中加入下面配置:
[mysqld]
server-id=1
log-bin
binlog-do-db=dataName #指定数据库

重起数据库


B为slave
修改B的my.ini文件,在mysqld配置项中加入下面配置:
[mysqld]
server-id=2
master-host=10.10.10.22 #此为A的IP
master-user=Uid #A服务器用户帐号
master-password=UPwd #A服务器用户密码
master-port=3306    #服务器端口
master-connect-retry=60  #预设重试间隔60秒
replicate-do-db=dataName  #告诉slave只做dataName数据库的更新
#多个数据库用,号分隔例: data1,data2,data3 .
#同步前,需确认数据与服务器数据相同(最好直接拷一份下来)

重起数据库
注意:由于设置了slave的配置信息,mysql在数据库目录下
生成master.info 所以如有要修改相关slave的配置要先删除
该文件,否则修改的配置不能生效。
您需要登录后才可以回帖 登录 | 加入会员

本版积分规则

QQ|手机版|Archiver|火车采集器官方站 ( 皖ICP备06000549 )

GMT+8, 2024-11-25 02:20

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表