yuandawei 发表于 2008-5-31 22:57:27

采集一个网站标题内容重复会采集吗?

怎么防止重复呢

孤魂 发表于 2008-5-31 23:01:00

会采集，目前火车头只可以通过网址判断重复

yuandawei 发表于 2008-5-31 23:10:58

只可以通过网址判断重复 这句话是什么意思呀?是说只能单条网址才能判断重复
要是批量/多页采集就会重复标题吗?

sushy 发表于 2008-6-1 00:41:07

就是说，如果火车头会检测你的网址列表，如果网址列表有的，火车头跳过，列表中没有的，火车头采集。

sunray 发表于 2008-6-1 09:44:52

如果你用dedecms，将不再是问题啦

yuandawei 发表于 2008-6-4 14:37:59

dedecms 怎么不是问题了。dedecms就不重复了?

ckill 发表于 2008-6-4 23:26:52

dedecms可以在后台删重复的
页: [1]
查看完整版本: 采集一个网站标题内容重复会采集吗?