‹‹ 上一主题 | 下一主题 ››
发新话题
打印

火车的重复采集怎么解决？

华天

新手上路

Rank: 2

UID
299 
帖子
40 
活跃度
65 点 
火车车厢
3 节 
注册时间
2005-12-16 
1楼 大 中 小 发表于 2006-9-11 09:22  只看该作者

火车的重复采集怎么解决？

刚学采集。火车 1.21版  线程1  间隔时间200ms

采集论坛到论坛 每个帖子都发2遍。还有4遍6遍的。开始以为个别现象。到论坛搜索了一下。发现这是个普遍存在的问题。

现在问一下：这个问题有解决方法吗？要怎么办？ 2.0已经解决了吗？

TOP

燧人氏

版主

Rank: 7Rank: 7Rank: 7

UID
4812 
帖子
348 
活跃度
420 点 
火车车厢
4 节 
注册时间
2006-8-12 
2楼 大 中 小 发表于 2006-9-11 15:03  只看该作者
1.21的没碰到过
2.0的有,你把地址全部采了,放到TXT文件,再采一次,看看

TOP

天毅

超级版主

Rank: 8Rank: 8

UID
150 
帖子
920 
活跃度
1219 点 
火车车厢
61 节 
注册时间
2005-12-3 
3楼 大 中 小 发表于 2006-9-12 10:47  只看该作者
首先检查网址规则

再有就是可能是论坛的灌水限制
你把线程间的时间间隔调长一些

应该可以解决

TOP

louyin

注册会员

Rank: 1

UID
5469 
帖子
10 
活跃度
1 点 
火车车厢
5 节 
注册时间
2006-9-2 
4楼 大 中 小 发表于 2006-9-13 18:03  只看该作者
把你采集过的地址删掉也许不会重复

就在urldata里

TOP

‹‹ 上一主题 | 下一主题 ››
发新话题
Powered by Discuz! 6.0.0  © 2001-2007 Comsenz Technology Ltd
Processed in 0.218664 second(s), 7 queries, Gzip enabled
当前时区 GMT+8, 现在时间是 2008-11-23 23:29 皖ICP备06000549 清除 Cookies - 联系我们 - 火车采集器官方站 - 静态归档