关于网址采集问题，请大神指教

felixhong · 发表于 2015-3-16 09:10:26

采集某网站，网页先显示的是第一页内容，第二页内容是直接点击更多新主题来获取，貌似不是用网址，而是直接脚本处理的。

请问如何采集到第二页的网址，目前只能采集到第一页的。

请大神指教，谢谢！

303718 · 发表于 2015-3-16 10:22:30

用抓包工具分析到真实地址后采集

felixhong · 发表于 2015-3-16 10:25:18

303718 发表于 2015-3-16 10:22
用抓包工具分析到真实地址后采集

你好，第一页地址是可以采集到的，就是下一页即更多新主题无法采集到。

更多新主题，是直接在当前页面新增出来的。

kirasun · 发表于 2015-3-17 22:00:11

同问，我也遇见了相同的问题，试了找真实网址没有用啊

felixhong · 发表于 2015-3-18 08:59:01

kirasun 发表于 2015-3-17 22:00
同问，我也遇见了相同的问题，试了找真实网址没有用啊

暂时解决办法：把那些更多新主题全部点出来，然后查看源文件，采集里面的网址

xmzhm · 发表于 2015-3-21 17:15:05

不想说。。。

114kaoyan · 发表于 2015-3-22 03:32:27

想不到。。。。

ma709601873 · 发表于 2015-3-22 07:11:13

跟楼主一样。。

yuyang06 · 发表于 2015-3-22 07:54:32

楼上看是吗？

ecbbs · 发表于 2015-3-23 12:11:37

留个标记。。。

帐号		自动登录	找回密码
密码			加入会员