为什么同一篇论坛贴子每采集一次他的网址都不一样？

myangel2000 · 发表于 2011-5-11 11:32:51

在采集如下这个网址：http://www.zhzybl.com/bbs/forumdisplay.php?fid=13的贴子的时候，同一个贴子每次采集的网址都不一样，
采集的地址后面会加上&sid=******，后面的数据总是随机变化的，所以导致在运行火车头采集与发布贴子的同一个贴子每运行一次就发布一次，就出现了很多重复贴子，不知道大家有没有遇到过这样的问题，怎么样处理？
如下面两张图片，，里面的贴子都是一样的，只是刷新一下，后面的后缀就不一样了，

zayautov · 发表于 2011-5-11 16:47:18

这还不简单啊标题那设置过了重复的记录或者做个发布接口在接口判断重复的就ol ...........

303718 · 发表于 2011-5-12 21:49:30

用自定义链接采集就行了呀。

myangel2000 · 发表于 2011-5-13 08:37:12

自定义链接不会用呢！！！！

帐号		自动登录	找回密码
密码			加入会员

为什么同一篇论坛贴子每采集一次他的网址都不一样？

本帖子中包含更多资源