采集ajax页面，结果只能采集第一页，是什么原因

linxi965766927 · 发表于 2014-10-20 12:00:09

这个是要采集的列表页：http://www.zxdyw.com/zxgr/gd.aspx
下面是post传输的数值
POST /Ajax/UserLoginCkeck.ashx HTTP/1.1
X-Requested-With: XMLHttpRequest
Accept: */*
Referer: http://www.zxdyw.com/zxgr/gd.aspx
Accept-Language: zh-cn
Accept-Encoding: gzip, deflate
User-Agent: Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)
Host: www.zxdyw.com
Content-Length: 0
Connection: Keep-Alive
Cache-Control: no-cache
Cookie: ASP.NET_SessionId=jezadt55w2jlva55tbgytwvc; AJSTAT_ok_pages=3; AJSTAT_ok_times=1; Hm_lvt_cdb6a09a976ab1b88426372476b23df9=1413733225; Hm_lpvt_cdb6a09a976ab1b88426372476b23df9=1413733253

弄了好几天都不行只能采集到第一页的忘大神指点

附件是我设置的任务不知道哪里设置的不对，求好心人

采集超市 · 发表于 2014-10-20 12:32:13

采集成功了，所有列表毫无压力，这是典型的POST采集，不会的可以交流交流！不说了，上图

『采集超市』专注于火车头规则、插件、模块、接口等周边产品开发！为企业和个人提供全方位的采集发布方案！
联系QQ:
官方网站：www.locoymall.com

路仙水翁 · 发表于 2014-10-20 14:11:58

有收获，谢谢分享

303718 · 发表于 2014-10-20 15:54:31

抓包设置好就能采到的。要登陆的还得设置COOKIE就行了

阿哲 · 发表于 2014-10-21 09:21:34

aspx的火车头默认有POST ASPX 选项

帐号		自动登录	找回密码
密码			加入会员

采集ajax页面，结果只能采集第一页，是什么原因

本帖子中包含更多资源