zc10800 发表于 2022-4-21 17:53:20

同一个列表，怎么避免今天采集昨天已采集的内容

以采集https://www.niaogebiji.com/cat/118为例（只是举例）
我定时的是每天下午6点采集网站当天新发布的内容。（同时采集三十几个列表页，每天大概100条内容）
列表参数我只设置了2页。
如何能让精准的只采集当天的内容。

leweizxl 发表于 2022-4-25 09:13:00

可以考虑，关闭重复网址过滤，内容规则里设置过滤标题重复，每天开启运行即可。
页: [1]
查看完整版本: 同一个列表，怎么避免今天采集昨天已采集的内容