felixhong 发表于 2015-3-16 09:10:26

关于网址采集问题，请大神指教

采集某网站，网页先显示的是第一页内容，第二页内容是直接点击 更多新主题    来获取，貌似不是用网址，而是直接脚本处理的。

请问如何采集到第二页的网址，目前只能采集到第一页的。

请大神指教，谢谢！

303718 发表于 2015-3-16 10:22:30

用抓包工具分析到真实地址后采集

felixhong 发表于 2015-3-16 10:25:18

303718 发表于 2015-3-16 10:22 static/image/common/back.gif
用抓包工具分析到真实地址后采集

你好，第一页地址是可以采集到的，就是下一页即   更多新主题   无法采集到。

更多新主题，是直接在当前页面新增出来的。

kirasun 发表于 2015-3-17 22:00:11

同问，我也遇见了相同的问题，试了找真实网址 没有用啊

felixhong 发表于 2015-3-18 08:59:01

kirasun 发表于 2015-3-17 22:00 static/image/common/back.gif
同问，我也遇见了相同的问题，试了找真实网址 没有用啊

暂时解决办法：把那些更多新主题全部点出来，然后查看源文件，采集里面的网址ali41ls

xmzhm 发表于 2015-3-21 17:15:05

不想说。。。

114kaoyan 发表于 2015-3-22 03:32:27

想不到。。。。

ma709601873 发表于 2015-3-22 07:11:13

跟楼主一样。。

yuyang06 发表于 2015-3-22 07:54:32

楼上看是吗？

ecbbs 发表于 2015-3-23 12:11:37

留个标记。。。
页: [1] 2
查看完整版本: 关于网址采集问题，请大神指教