同一个列表，怎么避免今天采集昨天已采集的内容

zc10800

以采集https://www.niaogebiji.com/cat/118为例（只是举例）
我定时的是每天下午6点采集网站当天新发布的内容。（同时采集三十几个列表页，每天大概100条内容）
列表参数我只设置了2页。
如何能让精准的只采集当天的内容。

leweizxl

可以考虑，关闭重复网址过滤，内容规则里设置过滤标题重复，每天开启运行即可。