shujieqiu 发表于 2021-10-10 13:40:42

求这个特殊ajax页面列表采集

http://jy.cdnu.edu.cn/News/newsList.html?cateid=98571c6d-db4c-347e-dac5-80245e0247db
这个页面上的列表应该是ajax的,通过fiddler抓包发现列表地址是http://jy.cdnu.edu.cn/mobile.php/Article/getlist
post的参数是:school_id=cf7dc45d-4d23-4d45-bf8a-37202be1b48a&cate_id=98571c6d-db4c-347e-dac5-80245e0247db&page=1&size=5&t=Sun+Oct+10+2021+13%3A09%3A00+GMT%2B0800+(%E4%B8%AD%E5%9B%BD%E6%A0%87%E5%87%86%E6%97%B6%E9%97%B4)&isorder=1&login_user_id=1&login_admin_school_code=14389&login_admin_school_id=cf7dc45d-4d23-4d45-bf8a-37202be1b48a

在fiddler里能看到数据,但是直接把地址放地址栏里会显示认证失败
火车头也采集不到,求大家帮助,只需要采集到文章标题和链接地址即可,谢谢!

leweizxl 发表于 2021-10-13 15:38:35

您好,您这种是post请求,地址是不能直接通过浏览器打开的,您可以设置采集器的列表post参数来模拟请求。可以参考一下教程了解http://faq.locoy.com/q-1236.html
页: [1]
查看完整版本: 求这个特殊ajax页面列表采集