zhhb3269581 发表于 2013-2-14 22:40:45

瀑布流的网站如何采集获取到内容页地址??

RT:
瀑布流的网站如何采集获取到内容页地址??
之前看到你们官方的人说是制作一个php文件,可是就没有下文了,所以我就在网上找啊,找半天没找到教程,所以来这里请教你们这些前辈了,比如说我要采集百度图片的这个网址:http://image.baidu.com/i?tn=list&word=liulan#%E6%90%9E%E7%AC%91|%E5%85%A8%E9%83%A8|0|0可是这个页面后面的内容是瀑布流,在默认页的代码中找不到后面图片的地址,只能采集前面的一部分,求大神给个思路,或举个简单的例子,小的在这里谢谢了!!!

zhhb3269581 发表于 2013-2-14 23:08:31

有登陆cookie:

第一屏是默认页

第二屏的真实地址:
GET:
/aj/mblog/mbloglist?_wv=5&page=1&count=15&max_id=3540154004290168&pre_page=1&end_id=3545685024788994&pagebar=1&_k=136085404958154&uid=1734741902&_t=0&__rnd=1360854062419
Connection: Keep-Alive

第三屏的真实地址:
GET:
GET /aj/mblog/mbloglist?_wv=5&page=1&count=15&max_id=3540154004290168&pre_page=1&end_id=3545685024788994&pagebar=1&_k=136085404958154&uid=1734741902&_t=0&__rnd=1360854062419 HTTP/1.1
Connection: Keep-Alive

对比后发现只有 k=136085404958154这个地方不同,可是怎么采集呢??

大神在哪里??

zhhb3269581 发表于 2013-2-14 23:20:31

访问上述真实地址的时候提示下载对于的网页文件,下载下来后是一个16进制而且类似于JS代码一样,有转义字符,到这里貌似就是不知道怎么去把这个页面按照一定的规则转换成html代码了。。。。。卡在这了。。。。。。。

zhhb3269581 发表于 2013-2-15 12:47:30

瀑布流的网站如何采集获取到内容页地址??秒沉!!!!!!!!!!!

zhhb3269581 发表于 2013-2-15 18:19:01

看来是没人帮忙解决了,知道的潜水的永远在潜水,不知道的永远不知道,难道你们非得把钱看得那么重吗???????????????????????????????????????????????????????????

苍海一粒渣 发表于 2013-2-15 18:54:02

帮你顶顶,也不会

zhhb3269581 发表于 2013-2-15 23:49:06

苍海一粒渣 发表于 2013-2-15 18:54 static/image/common/back.gif
帮你顶顶,也不会

帮你顶顶,也不会

gampu 发表于 2013-2-16 22:42:31

本帖最后由 gampu 于 2013-2-16 22:43 编辑

zhhb3269581 发表于 2013-2-14 23:08 static/image/common/back.gif
有登陆cookie:

第一屏是默认页
http://image.baidu.com/i?tn=listjson&word=liulan&oe=utf-8&ie=utf8&tag1=%E6%90%9E%E7%AC%91&tag2=%E5%85%A8%E9%83%A8&sorttype=0&pn=30&rn=60&requestType=1&1361025454760

http://image.baidu.com/i?tn=listjson&word=liulan&oe=utf-8&ie=utf8&tag1=%E6%90%9E%E7%AC%91&tag2=%E5%85%A8%E9%83%A8&sorttype=0&pn=150&rn=60&requestType=1&13610257469441361025746944这是时间戳,这个连post都不用,可以直接打开,修改下pn的值就可以,很简单

zhhb3269581 发表于 2013-2-17 20:47:52

gampu 发表于 2013-2-16 22:42 static/image/common/back.gif
1361025746944这是时间戳,这个连post都不用,可以直接打开,修改下pn的值就可以,很简单

恩,你说对了,膜拜啊,那新浪微博呢??这个瀑布流就麻烦了,给个思路吧

gampu 发表于 2013-2-18 22:28:50

zhhb3269581 发表于 2013-2-17 20:47 static/image/common/back.gif
恩,你说对了,膜拜啊,那新浪微博呢??这个瀑布流就麻烦了,给个思路吧

新浪微博好像是post
页: [1] 2
查看完整版本: 瀑布流的网站如何采集获取到内容页地址??