网址重复检测的几个问题

最爱你是谁

系统好像有检测重复的功能，不过建议再改进一下，这样就好了，
就是检测重复好像只是针对任务检测，一个任务如果重复了十条就不行了。
如果采新浪的一些新闻，准备用一个任务就把娱乐的采完，就有好多个页面，虽然一个页面下面有重复的超过十条，但是其实下一个列表还有没有检测的网址。
建议按网址检测。
还有就是好像不能在着站点整个来检测重复，这样采cnBeta这样，如果只想要其中几个专题，然后其它的全部弄到一起，好像有点麻烦出。
谢谢啊

lbjyuer

和你们一块学习。。。