多个网站共用一个数据库进行采集,如何操作呢?
本帖最后由 iou33449999 于 2021-9-16 07:26 编辑从多个网站采集两个标签,每个网站的采集规则也不一样,但是均有这两个标签值,其中:
标签1不能重复
标签2不能为空。
问题的核心是要共用一个数据库进行采集,如何操作呢?
网址库如何设置,数据库又如何设置呢?
您可以同时创建多个不同网站的web发布配置,在一个规则中使用,这样一个规则的采集数据就可以同时发布到三个网站中了 leweizxl 发表于 2021-9-22 14:28
您可以同时创建多个不同网站的web发布配置,在一个规则中使用,这样一个规则的采集数据就可以同时发布到三 ...
谢谢,您说的这个属于三个数据库的数据合并,并不是我想实现的功能哈。
我说的问题不涉及发布过程,只涉及采网址和采内容两个步骤。
比如3个规则
a.ljobx 采集的是www.aaa.com的uid和标题
b.ljobx 采集的是www.bbb.com的uid和标题
c.ljobx 采集的是www.ccc.com的uid和标题
aaa、bbb、ccc三个网址的均有某个标签,如:uid,并且该uid的值在同一个数据库里面不允许重复(比如,a.ljobx先采到后某uid=111时,b、c规则采到各自网站的uid=111时,该条记录不保存,对应pageurl的已采标记为未采并跳过。反之,b采过的uid,a、c也不再重复采集)
要想实现这个功能,就需要3个规则共用一个数据库,否则无法比较。
我的问题就在于:
1、多个规则可以共用一个数据库吗(mysql数据库)
2、三个规则如何共用这个数据库?如何设定或指定呢? 您好,您可以将三个规则正常设置采集,并都设置发布到同一个数据库中,数据库中设置某个字段不得重复(比如uid)。
且三个规则不在同一个时间内运行,例如,aaa规则采集发布完成后,运行bbb规则的采集发布,然后再运行ccc的采集发布,这样应该可以达到您需要的效果
页:
[1]