myangel2000 发表于 2011-5-11 11:32:51

为什么同一篇论坛贴子每采集一次他的网址都不一样？

在采集如下这个网址：http://www.zhzybl.com/bbs/forumdisplay.php?fid=13的贴子的时候，同一个贴子每次采集的网址都不一样，
采集的地址后面会加上&sid=******，后面的数据总是随机变化的，所以导致在运行火车头采集与发布贴子的同一个贴子每运行一次就发布一次，就出现了很多重复贴子，不知道大家有没有遇到过这样的问题，怎么样处理？
    如下面两张图片，，里面的贴子都是一样的，只是刷新一下，后面的后缀就不一样了，

zayautov 发表于 2011-5-11 16:47:18

这还不简单啊 标题那设置过了重复的记录 或者做个发布接口 在接口判断重复的就ol ...........

303718 发表于 2011-5-12 21:49:30

用自定义链接采集就行了呀。

myangel2000 发表于 2011-5-13 08:37:12

自定义链接不会用呢！！！！
页: [1]
查看完整版本: 为什么同一篇论坛贴子每采集一次他的网址都不一样？