天涯论坛完美规则最新版20080910

flaven · 发表于 2008-9-10 00:45:51

天涯论坛完美规则最新版，因为我会长期的采集天涯论坛，所以会持续的进行跟踪更新

这个规则的主要特点：
1、规则至简，用起来稳定，可长期不受天涯页面变动影响
2、因为天涯涉政的帖子较多，所以抓取新帖列表的第二页和新顶贴列表的第二页进行采集，这样既能保证采到有价值的老帖，又能躲过一些刚发的政治危险贴。
3、天涯广告较多，过滤了非天涯的外链图片，过滤作者名和其他http网址
4、不采集内容分页，天涯的长贴实在太可怕了
5、数量上，做个调度，隔几个小时采一次，差不多每次采近百个主题，近千篇回复，这量也很吓人（一个板块而已），大家酌情使用
…………

我是以股票版为例进行采集的，效果可参见我的论坛股票版http://www.beidouweb.com/bbs/forumdisplay.php?fid=105&page=1
PS：天涯的数据百度几乎是同步收录

[ 本帖最后由 flaven 于 2008-9-10 09:04 编辑 ]

xyz5200 · 发表于 2008-9-10 07:35:42

有发布模块最好了。规则不要。。。

flaven · 发表于 2008-9-10 08:43:41

为啥呢，不是一样吗

cousin · 发表于 2008-9-14 12:25:45

不知道怎么用

tangrens · 发表于 2008-9-21 06:09:08

顶一下，这个还是不错的

shy52502 · 发表于 2008-9-21 10:43:24

chinazg · 发表于 2008-9-24 13:31:21

楼主能看一下是什么原因吗?

woniu778 · 发表于 2008-9-29 13:20:52

哪位高手可以帮忙做下这两个站的全站采集规则？注意其中很多文章是有分页的和图片那些的哦
http://www.cnduty.com/
http://www.globrand.com/

uke99 · 发表于 2008-10-27 16:56:28

老大怎么好像采不到列表啊

怎么能有内容呢。

还有天涯的地方板块怎么采谁能帮帮忙

live0022 · 发表于 2009-1-3 19:55:58

楼主的论坛人气有点旺啊

帐号		自动登录	找回密码
密码			加入会员

天涯论坛完美规则最新版20080910

本帖子中包含更多资源

评分

不错,不过图片地址看不到了

浏览过的版块