火车采集器软件交流官方论坛

 找回密码
 加入会员
搜索
火车采集器V9版免费下载火车浏览器 - 可视采集,万能群发,全自动脚本工具
查看: 11933|回复: 12

瀑布流的网站如何采集获取到内容页地址??

[复制链接]
发表于 2013-2-14 22:40:45 | 显示全部楼层 |阅读模式
RT:  
瀑布流的网站如何采集获取到内容页地址??
之前看到你们官方的人说是制作一个php文件,可是就没有下文了,所以我就在网上找啊,找半天没找到教程,所以来这里请教你们这些前辈了,比如说我要采集百度图片的这个网址:
  1. http://image.baidu.com/i?tn=list&word=liulan#%E6%90%9E%E7%AC%91|%E5%85%A8%E9%83%A8|0|0
复制代码
可是这个页面后面的内容是瀑布流,在默认页的代码中找不到后面图片的地址,只能采集前面的一部分,求大神给个思路,或举个简单的例子,小的在这里谢谢了!!!
 楼主| 发表于 2013-2-14 23:08:31 | 显示全部楼层
有登陆cookie:

第一屏是默认页

第二屏的真实地址:
GET:
/aj/mblog/mbloglist?_wv=5&page=1&count=15&max_id=3540154004290168&pre_page=1&end_id=3545685024788994&pagebar=1&_k=136085404958154&uid=1734741902&_t=0&__rnd=1360854062419
Connection: Keep-Alive

第三屏的真实地址:
GET:
GET /aj/mblog/mbloglist?_wv=5&page=1&count=15&max_id=3540154004290168&pre_page=1&end_id=3545685024788994&pagebar=1&_k=136085404958154&uid=1734741902&_t=0&__rnd=1360854062419 HTTP/1.1
Connection: Keep-Alive

对比后发现只有 k=136085404958154  这个地方不同,可是怎么采集呢??

大神在哪里??
 楼主| 发表于 2013-2-14 23:20:31 | 显示全部楼层
访问上述真实地址的时候提示下载对于的网页文件,下载下来后是一个16进制而且类似于JS代码一样,有转义字符,到这里貌似就是不知道怎么去把这个页面按照一定的规则转换成html代码了。。。。。卡在这了。。。。。。。
 楼主| 发表于 2013-2-15 12:47:30 | 显示全部楼层
瀑布流的网站如何采集获取到内容页地址??秒沉!!!!!!!!!!!
 楼主| 发表于 2013-2-15 18:19:01 | 显示全部楼层
看来是没人帮忙解决了,知道的潜水的永远在潜水,不知道的永远不知道,难道你们非得把钱看得那么重吗???????????????????????????????????????????????????????????
发表于 2013-2-15 18:54:02 | 显示全部楼层
帮你顶顶,也不会
 楼主| 发表于 2013-2-15 23:49:06 | 显示全部楼层
苍海一粒渣 发表于 2013-2-15 18:54
帮你顶顶,也不会

帮你顶顶,也不会
发表于 2013-2-16 22:42:31 | 显示全部楼层
本帖最后由 gampu 于 2013-2-16 22:43 编辑
zhhb3269581 发表于 2013-2-14 23:08
有登陆cookie:

第一屏是默认页
  1. http://image.baidu.com/i?tn=listjson&word=liulan&oe=utf-8&ie=utf8&tag1=%E6%90%9E%E7%AC%91&tag2=%E5%85%A8%E9%83%A8&sorttype=0&pn=30&rn=60&requestType=1&1361025454760

  2. http://image.baidu.com/i?tn=listjson&word=liulan&oe=utf-8&ie=utf8&tag1=%E6%90%9E%E7%AC%91&tag2=%E5%85%A8%E9%83%A8&sorttype=0&pn=150&rn=60&requestType=1&1361025746944
复制代码
1361025746944这是时间戳,这个连post都不用,可以直接打开,修改下pn的值就可以,很简单
 楼主| 发表于 2013-2-17 20:47:52 | 显示全部楼层
gampu 发表于 2013-2-16 22:42
1361025746944这是时间戳,这个连post都不用,可以直接打开,修改下pn的值就可以,很简单

恩,你说对了,膜拜啊,那新浪微博呢??这个瀑布流就麻烦了,给个思路吧
发表于 2013-2-18 22:28:50 | 显示全部楼层
zhhb3269581 发表于 2013-2-17 20:47
恩,你说对了,膜拜啊,那新浪微博呢??这个瀑布流就麻烦了,给个思路吧

新浪微博好像是post
您需要登录后才可以回帖 登录 | 加入会员

本版积分规则

QQ|手机版|Archiver|火车采集器官方站 ( 皖ICP备06000549 )

GMT+8, 2024-11-25 07:35

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表