gapo83 发表于 2011-2-6 19:46:45

重复网址问题

由于受网速及服务器响应慢等问题，导致采集分页数据时出现重复采集数据的问题。
如果在任务里开启《检测重复网址》选项那么会丢掉应该采集的数据。
在PageUrl文件夹下的access文件里保存的是加密的网址数据，而且也没有提示哪些数据是重复的，感觉PageUrl表的作用仅仅是用来判断采集的数据是否与已有的数据重复，所以建议增加能记录已重复网址的数据表，或者是Log文件。

lbjyuer 发表于 2016-2-8 18:14:50

和你们一块学习。。。
页: [1]
查看完整版本: 重复网址问题