火车头可以避免论坛帖子重复采集吗

pkuh · 发表于 2009-3-8 18:26:55

本帖最后由 pkuh 于 2009-3-8 18:28 编辑

比如说这一贴，在第一页时就是这个，
http://bbs.locoy.com/spider-36239-1-1.html
但沉下去第二页，第三页就变成了这样
http://bbs.locoy.com/spider-36239-1-2.html

http://bbs.locoy.com/spider-36239-1-3.html

如果这样会不会重复采集？？有什么办法可以避免？？

zydxdx · 发表于 2009-3-8 18:32:28

在采集地址里面设置相应的规则排除掉帖子的分页

afanfan2007 · 发表于 2009-3-8 18:41:01

火车头做了周密的设计，完全可以避免重复采集的！不信你试试
多实践才是硬道理！

xyz5200 · 发表于 2009-3-8 21:35:37

努力了,就离成功不远了

pkuh · 发表于 2009-3-9 12:34:06

不懂呀，有没有教程呀，具体是什么哪里

zituteng · 发表于 2009-3-9 17:25:10

火车头是万能的只怕你不能

帐号		自动登录	找回密码
密码			加入会员