网易博客文章列表采集方法，php接口实现通用采集

zhouchanglin · 发表于 2012-3-24 15:47:41

本帖最后由 zhouchanglin 于 2014-3-22 11:26 编辑

所谓接口，就是实现某个功能的程序文件，
辅助火车头采集接口有2类：
1.用于发布的，也就是入库的接口，这类接口可以处理普通web发布模块不能完成的一些特殊任务，路发布有验证码，这时需要做个发布接口实现数据的写入数据库，这样可以完成很多任务，是用于辅助发布的，解决发布难题的；
2.辅助采集的接口，主要用于一些特殊pos分页，js脚本分页的采集等在采集中遇到的复杂情况；

下面以网易博客的文章列表的采集为例，说明利用php接口文件实现处理复杂采集的一个示例；
博客日记列表页：http://blog.163.com/s_cheung/blog/

网易博客的文章列表，通过查看源码，是无法看到任何有关于博文url的信息，观察细致的朋友会发现，当打开博客的日记列表页，文章区域会出现：“正在加载文章列表”这样的提示，而后文章会显示出来，这是个ajax请求的过程，是对某个文件进行了数据请求的，因此如果可以知道这个过程的请求url，那摩就也许就可以有采集方法了。

游客，如果您要查看本帖隐藏内容请回复

下面是网易博文接口在火车采集器中测试的截图：

网易博客采集，联系[qq]972130397
火车头网络推广：http://blog.sina.com.cn/iambike007

tmhlbj2012 · 发表于 2012-4-19 15:23:44

这个东西好啊！我来看看

44600106 · 发表于 2012-4-19 13:59:29

111111111111111111111111

lovett · 发表于 2012-6-6 18:44:25

正在找这个，呵呵

wlgg66 · 发表于 2012-5-15 10:50:21

gggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg

tiaomu · 发表于 2012-5-1 17:08:12

485484848480000000000

poppy · 发表于 2012-4-28 14:21:59

嘿嘿。。我看看。。。http://www.wj115.com

tt8733229 · 发表于 2012-6-4 10:07:40

学习下~~~~~~~~~~~~

huitkj · 发表于 2012-6-7 18:09:57

看看是啥
。。。。。。。。

keaibb · 发表于 2012-6-3 17:46:13

帐号		自动登录	找回密码
密码			加入会员

网易博客文章列表采集方法，php接口实现通用采集

本帖子中包含更多资源