多个网站共用一个数据库进行采集，如何操作呢？

iou33449999

从多个网站采集两个标签，每个网站的采集规则也不一样，但是均有这两个标签值，其中：
标签1不能重复
标签2不能为空。
问题的核心是要共用一个数据库进行采集，如何操作呢？


网址库如何设置，数据库又如何设置呢？

leweizxl

您可以同时创建多个不同网站的web发布配置，在一个规则中使用，这样一个规则的采集数据就可以同时发布到三个网站中了

iou33449999

leweizxl 发表于 2021-9-22 14:28
您可以同时创建多个不同网站的web发布配置，在一个规则中使用，这样一个规则的采集数据就可以同时发布到三 ...

谢谢，您说的这个属于三个数据库的数据合并，并不是我想实现的功能哈。
我说的问题不涉及发布过程，只涉及采网址和采内容两个步骤。
比如3个规则
a.ljobx 采集的是www.aaa.com的uid和标题
b.ljobx 采集的是www.bbb.com的uid和标题
c.ljobx 采集的是www.ccc.com的uid和标题

aaa、bbb、ccc三个网址的均有某个标签，如：uid，并且该uid的值在同一个数据库里面不允许重复（比如，a.ljobx先采到后某uid=111时，b、c规则采到各自网站的uid=111时，该条记录不保存，对应pageurl的已采标记为未采并跳过。反之，b采过的uid，a、c也不再重复采集）

要想实现这个功能，就需要3个规则共用一个数据库，否则无法比较。

我的问题就在于：
1、多个规则可以共用一个数据库吗（mysql数据库）
2、三个规则如何共用这个数据库？如何设定或指定呢？

leweizxl

您好，您可以将三个规则正常设置采集，并都设置发布到同一个数据库中，数据库中设置某个字段不得重复(比如uid)。
且三个规则不在同一个时间内运行，例如，aaa规则采集发布完成后，运行bbb规则的采集发布，然后再运行ccc的采集发布，这样应该可以达到您需要的效果