关于采网址的建议

cioon

采网址的时候应该加一个采集网址处理后入库的选项，否则有些论坛会出现很多重复网址却检测不出来的现象

比如采集某PHPWIND搭建的论坛时
第一页没问题：/read.php?tid=63
从第二页会出现问题：/read.php?tid=66&fpage=2

这样当第一页的某个帖子（如/read.php?tid=20）随时间推移到第二页（/read.php?tid=20&fpage=2）的时候，采集器会认为这是一个未曾采集过的新帖子，会造成内容的重复采集

pbdq

你可以设置一个 链接不能包含 fpage不就可以了

lbjyuer

支持火车。。。。历史帖子回顾中。