【求助】如何采集到最新的数据同时避免数据重复？

heavenmade1201

目前采用的是火车采集器V2009SP4版

想保持数据不断更新，但日志“采网址--重复网址，排除：”，无法采集到我需要的最新数据

删除地址库信息的话，只是又重复采集一遍我之前的数据，因此不断重复，这种方法好像不可行

请问保存到本地的数据库中（暂只进行到采集阶段）是否软件类有相关设置，可以剔除过去已经重复的信息？

或者说此类方法只能在本地数据库中进行操作？

谢谢各位的帮助

都市乞丐

应该是做不到