重复网址问题

gapo83

由于受网速及服务器响应慢等问题，导致采集分页数据时出现重复采集数据的问题。
如果在任务里开启《检测重复网址》选项那么会丢掉应该采集的数据。
在PageUrl文件夹下的access文件里保存的是加密的网址数据，而且也没有提示哪些数据是重复的，感觉PageUrl表的作用仅仅是用来判断采集的数据是否与已有的数据重复，所以建议增加能记录已重复网址的数据表，或者是Log文件。

lbjyuer

和你们一块学习。。。