普通农民 发表于 2007-11-15 01:39:41

关于论坛采集 数据发布到网站的一些问题(内容贴详细 请阅)

我这边程序是:discuz 6.0 程序....

因为我的采集数量比较多 每天要更新1-2万内容...

因为我的discuz 6.0 (网站与数据库是分离形式)如果我直接选择web发布的话,会造成很大的死循环。

偶尔 mysql会出现 1135 内存提示 等... 或者直接 2003提示mysql无连接 要过好久一会才能正常恢复

这样就很影用户浏览论坛内容....

我是这么想的,请大家指点一下,不知道是否可行。

将论坛数据库放在本机一份和论坛程序... 之后进行采集任务,采集完成以后。将数据库表文件上传服务器。
(不知道论坛程序要不要同时上传)

这样的话,我想应该会好一些吧...至少不影响服务器的速度与用户浏览。

但是,因为我没有明确的进行测试,想先对大家进行一下了解。

如果我这样操作的话,将数据库覆盖后,论坛上显示的比如 总帖子数量与显示在版块上的 今日(1222)贴 会不会显示呢?

明天晚上进行一下测试,有经验的可以明确的回答我一下。 先赚3个火车头再说....

您只要告诉我 这样是不是能行?

但是您还要告诉我在开火车的时间 应该如何设置?

vus520 发表于 2007-11-15 03:09:16

这样,先备份你所有的论坛数据库数据,这里的备份,是直接把你的Mysql数据库文件夹给我复制到本地文件夹!

可能有两个问题,
一是你是不是虚拟主机用户,是的话叫主机商给你压缩后传一下!需要中止Mysql服务!
二,用Mysql自带的备份和恢复八成会失败,根据版本不同~~

那么,可以使用DZ自带的数据库备份,如果数据库很大,因为你一天更新一万多~~这样产生的分卷可能也很多,所以这也是一个问题!

两个方法可以把数据库拿回本地,在本地装DZ后分别用对应上述方法用数据库恢复!

采集以后用同样的方法上传 到服务器恢复!

这样相当麻烦!!

其实我主要想说的是 数据库的远程同步传输~~

就一个软件就可以了!!
只要你是独立服务器,或者和主机商很熟悉,就很方便!!

开一个任意主机的用户,建立连接上传下载十分方便!!

说到这里,价值已经超过50元了!!
休息~~

rq204 发表于 2007-11-15 10:38:34

dts                :ali0ls

普通农民 发表于 2007-11-15 12:59:31

我是独立的服务器用户我先将mysql停止 之后放到本地开始进行采集 直接入库
采集完毕以后 上服务器将mysql停止 覆盖我最新的数据库。 开启mysql应该就可以了吧

vus520 发表于 2007-11-15 15:01:46

独立服务器
你使用的是独立网页服务器还是数据库服务器,你说两者是分开的!~

你是独立的数据库,那么你可以直接把你的数据库下载回本地!然后采集!

采集以后上传到服务器就可以!但这样但会丢失一些数据!
推荐使用数据库同步更新!

xdaoke 发表于 2007-11-16 09:09:23

建议采用mysql数据库同步方式

讲话怎么能只讲一半?

MySql数据库同步更新设置
设置方法:
设置范例环境:
  操作系统:Windows 2000 Professional
  MySQL:4.0.4-beta-max-nt-log
  A IP:10.10.10.22
  B IP:10.10.10.53

主从模式:A->B
  A为master
  修改A的my.ini文件,在mysqld配置项中加入下面配置:

server-id=1
log-bin
binlog-do-db=dataName #指定数据库

重起数据库


B为slave
修改B的my.ini文件,在mysqld配置项中加入下面配置:

server-id=2
master-host=10.10.10.22 #此为A的IP
master-user=Uid #A服务器用户帐号
master-password=UPwd #A服务器用户密码
master-port=3306    #服务器端口
master-connect-retry=60#预设重试间隔60秒
replicate-do-db=dataName#告诉slave只做dataName数据库的更新
#多个数据库用,号分隔例: data1,data2,data3 .
#同步前,需确认数据与服务器数据相同(最好直接拷一份下来)

重起数据库
注意:由于设置了slave的配置信息,mysql在数据库目录下
生成master.info 所以如有要修改相关slave的配置要先删除
该文件,否则修改的配置不能生效。
页: [1]
查看完整版本: 关于论坛采集 数据发布到网站的一些问题(内容贴详细 请阅)