xulei_928 发表于 2019-8-5 14:38:06

请问通过script引入的网页内容应该怎么采集？

腾讯的网页，列表页和内容都是通过script引入的内容，尝试过抓包也没抓到啥有效的内容，但是chrome检查网页能直接看到网页的内容，所以应该是能采的，但是没搞懂方法，有大佬指教一下么？如图


地址：https://gp.qq.com/web20190423/listpage_news.html

leweizxl 发表于 2019-8-7 15:27:30

使用fiddler抓包分析下实际加载所需数据的请求,

longouxiu 发表于 2019-8-11 08:33:27

你去分析一段代码，还不如直接抓包获取网址就好了
https://apps.game.qq.com/wmp/v3.1/?p0=182&p1=searchNewsKeywordsList&page=2&pagesize=10&order=sIdxTime&r0=script&r1=NewsObj2875543879499025&type=iTarget&id=3996&source=web_pc

hrj3251 发表于 2019-8-11 10:12:19

https://apps.game.qq.com/wmp/v3.1/?p0=182&p1=searchNewsKeywordsList&page=2&pagesize=10&order=sIdxTime&r0=script&r1=NewsObj19409148100147178&type=iTarget&id=3996&source=web_pc

page=2 这个就是分页参数
页: [1]
查看完整版本: 请问通过script引入的网页内容应该怎么采集？