采集一个网站标题内容重复会采集吗?

yuandawei · 发表于 2008-5-31 22:57:27

怎么防止重复呢

孤魂 · 发表于 2008-5-31 23:01:00

会采集，目前火车头只可以通过网址判断重复

yuandawei · 发表于 2008-5-31 23:10:58

只可以通过网址判断重复这句话是什么意思呀?是说只能单条网址才能判断重复
要是批量/多页采集就会重复标题吗?

sushy · 发表于 2008-6-1 00:41:07

就是说，如果火车头会检测你的网址列表，如果网址列表有的，火车头跳过，列表中没有的，火车头采集。

sunray · 发表于 2008-6-1 09:44:52

如果你用dedecms，将不再是问题啦

yuandawei · 发表于 2008-6-4 14:37:59

dedecms 怎么不是问题了。dedecms就不重复了?

ckill · 发表于 2008-6-4 23:26:52

dedecms可以在后台删重复的

帐号		自动登录	找回密码
密码			加入会员