请问这种地址怎么采集、？

zhengyukun

http://toutiao.com/

http://toutiao.com/group/6245030154679140609/
http://toutiao.com/group/6240978673840423169/

后面是随机数字

303718

代码里没有直接显示的用抓包工具分析

zhengyukun

303718 发表于 2016-4-2 08:08
代码里没有直接显示的用抓包工具分析

火车头抓包工具吗

303718

http://faq.locoy.com/q-755.html

zhengyukun

303718 发表于 2016-4-2 09:10
http://faq.locoy.com/q-755.html

好像有难度性，能指点一二如何采集这个站
我找了半天都没有找到真实地址
得到的结果如下

1. {"message": "success", "data": {"news": [["6268548553031811585", "\u5305\u8d1d\u5c14\u56de\u5e94\u95f9\u4f34\u5a18\u4e8b\u4ef6:\u770b\u5230\u67f3\u5ca9\u6d41\u6cea\u5fc3\u91cc\u96be\u53d7"], ["6268616780614500610", "\u65e5\u5a92\u79f0\u4e2d\u56fd\u6cb9\u7530\u5927\u5e45\u505c\u4ea7\uff1a\u91c7\u6cb9\u673a\u5982\u201c\u5893\u7891\u201d\u822c\u77d7\u7acb"], ["6268621527496835330", "\u9999\u6e2f\u4e9a\u89c6\u6b63\u5f0f\u505c\u64ad \u5973\u4e3b\u64ad\u5fae\u7b11\u9053\u201c\u540e\u4f1a\u6709\u671f\u201d"], ["6268620375712104705", "\u8054\u5408\u56fd\u7ef4\u548c\u90e8\u961f\u201c\u517d\u884c\u201d\u66dd\u5149:108\u540d\u5e73\u6c11\u906d\u6027\u4fb5"], ["6268537190910230786", "\u7f8e\u5c11\u5973\u5f53\u4fdd\u59c63\u5929\u8d5a\u4e00\u4e07\u5143 \u7adf\u53ea\u662f\u7167\u987e\u4eba\u5076"], ["6268553123184591105", "\u6cf0\u56fd\u5f81\u5175 \u7f8e\u8273\u53d8\u6027\u4eba\u83b7\u5c0a\u91cd\u201c\u7981\u6b62\u6478\u5c41\u80a1\u201d"], ["6268567039255429377", "\u8bc4\u8bba\u4e28\u7f8e\u56fd\u94c1\u4e86\u5fc3\u8981\u63a8\u8428\u5fb7\u5165\u97e9\uff0c\u4e3a\u4ec0\u4e48\uff1f"], ["6268596966969983233", "\u4e3a\u9632\u6b62\u8521\u82f1\u6587\u5012\u5411\u5927\u9646\uff0c\u5979\u7684\u201c\u732a\u961f\u53cb\u4eec\u201d\u60f3\u4e86\u8fd9\u4e48\u4e00\u62db"], ["6268649844924350721", "\u5a92\u4f53\u63a2\u8bbf2.5\u5929\u4f11\u5047\u8bd5\u70b9\u5e02\uff1a\u4f01\u4e1a\u6ca1\u6709\u63a8\u884c\u6253\u7b97"], ["6268587938398322946", "\u4e94\u5927\u6218\u533a 4\u4e2a\u660e\u786e\u5df2\u7ecf\u5efa\u7acb\u6d77\u519b"]], "uid": 0, "uid_type": 14}}

复制代码

zhengyukun

zhengyukun 发表于 2016-4-2 09:51
好像有难度性，能指点一二如何采集这个站
我找了半天都没有找到真实地址
得到的结果如下

1. GET http://toutiao.com/api/article/recent/?source=2&count=20&category=__all__&max_behot_time=1459562073.95&utm_source=toutiao&offset=0&_=1459562067613 HTTP/1.1
   
2. X-CSRFToken: a3cce0753cfbed494c746ecadb7f3591
   
3. Accept: application/json, text/javascript, */*; q=0.01
   
4. X-Requested-With: XMLHttpRequest
   
5. Referer: http://toutiao.com/
   
6. Accept-Language: zh-CN
   
7. Accept-Encoding: gzip, deflate
   
8. User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko
   
9. Host: toutiao.com
   
10. Connection: Keep-Alive
    
11. Pragma: no-cache
    
12. Cookie: utm_source=toutiao; csrftoken=a3cce0753cfbed494c746ecadb7f3591; tt_webid=13293541727; uuid="w:d256ed27f53a4b65bc34295c74da3fab"; _ga=GA1.2.120214880.1459561699; _gat=1
    

复制代码

在新版本火车头内 如何填写，好像摸不着头脑

zhengyukun

303718 发表于 2016-4-2 09:10
http://faq.locoy.com/q-755.html

有这方面的教程吗