可不可以把那个重复的连接搞灵活一点呀！

chunle

比方说，有一些网页有两种格式的。（像网易）在采集的时候有一部分不可以采集到，但是你改了规则就可以了。但是因为是采集过的地址火车头就直接把他过虑了，这样就没有采到。但如果把地址清空了就会重复发布了。或者做个发布过的就记忆，没有发的就做其他的方法处理。

xinyou

支持！