swfjk 发表于 2009-3-5 22:01:57

重复采集严重

对于某些网址，比如
http://bbs.mumayi.net/forum-73-1.html
论坛的，基本上每次到该任务都是重新采集整页的，每次都是完全重采
排除规则，模块等因素
不信可以自己采的试试................基本重复的网址，2009应该是对这种网址的重复查询存在bug

飛越無限 发表于 2009-3-5 22:22:28

自己写规则的时候想办法利用组合功能。只获取到一个ID值。然后后面的那些地址这些自己组合
页: [1]
查看完整版本: 重复采集严重