天涯论坛完美规则最新版20080910
天涯论坛完美规则最新版，因为我会长期的采集天涯论坛，所以会持续的进行跟踪更新这个规则的主要特点：
1、规则至简，用起来稳定，可长期不受天涯页面变动影响
2、因为天涯涉政的帖子较多，所以抓取新帖列表的第二页和新顶贴列表的第二页进行采集，这样既能保证采到有价值的老帖，又能躲过一些刚发的政治危险贴。
3、天涯广告较多，过滤了非天涯的外链图片，过滤作者名和其他http网址
4、不采集内容分页，天涯的长贴实在太可怕了
5、数量上，做个调度，隔几个小时采一次，差不多每次采近百个主题，近千篇回复，这量也很吓人（一个板块而已），大家酌情使用
…………
我是以股票版为例进行采集的，效果可参见我的论坛股票版http://www.beidouweb.com/bbs/forumdisplay.php?fid=105&page=1
PS：天涯的数据百度几乎是同步收录
[ 本帖最后由 flaven 于 2008-9-10 09:04 编辑 ] 有发布模块最好了。规则不要。。。 为啥呢，不是一样吗 不知道怎么用ali16ls 顶一下，这个还是不错的 :( :( :( :( :( :(
不错,不过图片地址看不到了
楼主能看一下是什么原因吗? 哪位高手可以帮忙做下这两个站的全站采集规则？注意其中很多文章是有分页的和图片那些的哦http://www.cnduty.com/
http://www.globrand.com/ 老大怎么好像采不到列表啊
怎么能有内容呢。
还有天涯的地方板块 怎么采 谁能帮帮忙 楼主的论坛人气有点旺啊
页:
[1]
2