网易博客文章列表采集方法，php接口实现通用采集

wudibox · 发表于 2013-9-1 13:18:14

太好了太好了太好了

wzxoxo · 发表于 2013-9-2 15:17:54

有这么好的东西...

你人真好 · 发表于 2013-9-3 09:57:11

学习一下，好东西。

nic8710 · 发表于 2013-9-4 09:12:03

来学习学习的。。。。

企业版 · 发表于 2013-9-5 01:14:03

这个过来看看应该是个好东西

lujiacan · 发表于 2013-9-16 21:26:25

看看，学习一下{:soso_e100:}

55809371 · 发表于 2013-9-19 23:33:47

1111111111111111111111111111

hch00000 · 发表于 2013-10-11 17:20:49

所谓接口，就是实现某个功能的程序文件，
辅助火车头采集接口有2类：
1.用于发布的，也就是入库的接口，这类接口可以处理普通web发布模块不能完成的一些特殊任务，路发布有验证码，这时需要做个发布接口实现数据的写入数据库，这样可以完成很多任务，是用于辅助发布的，解决发布难题的；
2.辅助采集的接口，主要用于一些特殊pos分页，js脚本分页的采集等在采集中遇到的复杂情况；

下面以网易博客的文章列表的采集为例，说明利用php接口文件实现处理复杂采集的一个示例；
博客日记列表页：http://blog.163.com/s_cheung/blog/

网易博客的文章列表，通过查看源码，是无法看到任何有关于博文url的信息，观察细致的朋友会发现，当打开博客的日记列表页，文章区域会出现：“正在加载文章列表”这样的提示，而后文章会显示出来，这是个ajax请求的过程，是对某个文件进行了数据请求的，因此如果可以知道这个过程的请求url，那摩就也许就可以有采集方法了。

peteryang · 发表于 2013-10-16 16:13:32

好好学习一下，在网上看到另一个帖子，试过了不行。

jiuqiufeng · 发表于 2013-10-22 18:46:21

这个东西好啊！我来看看

帐号		自动登录	找回密码
密码			加入会员