cioon 发表于 2011-3-1 03:25:46

关于采网址的建议

采网址的时候应该加一个采集网址处理后入库的选项，否则有些论坛会出现很多重复网址却检测不出来的现象

比如采集某PHPWIND搭建的论坛时
第一页没问题：/read.php?tid=63
从第二页会出现问题：/read.php?tid=66&fpage=2

这样当第一页的某个帖子（如/read.php?tid=20）随时间推移到第二页（/read.php?tid=20&fpage=2）的时候，采集器会认为这是一个未曾采集过的新帖子，会造成内容的重复采集

pbdq 发表于 2011-4-5 13:49:21

你可以设置一个 链接不能包含 fpage不就可以了

lbjyuer 发表于 2016-2-8 17:56:35

支持火车。。。。历史帖子回顾中。
页: [1]
查看完整版本: 关于采网址的建议