怎样才能暂停过滤重复采集的功能?

ivanpan · 发表于 2007-12-19 00:07:00

有些文章会在几个任务中出现
但当我对某一条地址采集过后,要在其它任务采集就被过滤了,怎样才能暂停过滤重复采集的功能?

sushy · 发表于 2007-12-19 00:23:17

如果你是如本地数据库，每个任务就是一个数据库表。如果你不允许其过滤，只有手工直接修改数据库中相关条的键值。

ivanpan · 发表于 2007-12-19 12:16:47

我采集的网站, 它自己也是某些文章会在多个目录中出现, 所以我任务分类时, 跟采集的网站也差不多, 所以也会某些文章会在多个目录中出现

如果几千条, 那就没可能这样手工一条一条修改吧, 会死的

sushy · 发表于 2007-12-19 12:32:10

有个比手工改稍微简单的办法，不仿一试。

在本地表中按标题排序，可以将所有相同或者相近的标题排到一起，再判断修改，对于多表，那实在没有什么高招了。

ivanpan · 发表于 2007-12-20 11:02:17

帐号		自动登录	找回密码
密码			加入会员