火车采集器软件交流官方论坛

 找回密码
 加入会员
搜索
火车采集器V9版免费下载火车浏览器 - 可视采集,万能群发,全自动脚本工具
查看: 3193|回复: 5

這網站採集不到...

[复制链接]
发表于 2017-7-30 01:02:20 | 显示全部楼层 |阅读模式
发表于 2017-7-31 08:47:20 | 显示全部楼层
可以获取  需要用fiddler分析获取  是post网址
发表于 2017-7-31 15:03:56 | 显示全部楼层
发表于 2017-8-17 10:29:59 | 显示全部楼层
用FD抓包得出真实网址:http://www.my-fresh.com/Store/Ajax/Context/DynamicLinq.ashx  这个POST网站浏览器时不识别的,要转化成GET---就是在这个网址后面加上?和FD抓取的数据包数据组合得出的网址
也就是http://www.my-fresh.com/Store/Aj ... DESC&select=new(Id%2CTitle%2CNumber%2CSerial%2CImage%2CImages%2CBrandId%2CVendorId%2CCartId%2CCategories%2CIntroduce%2CContent%2CSpecification%2CInspection%2CIsStockEnable%2CStock%2CIsVariantEnable%2CVariants%2CCreateOn%2CListPrice%2CPrice%2CIsOnSale%2CSaleStart%2CSaleEnd%2CSalePrice)&take=1&path=products

再把这个链接精简删除一下得出:http://www.my-fresh.com/Store/Aj ... 2&path=products  这个精简的页面应该就是你要采集的页面了。。。

发表于 2017-8-17 14:50:32 | 显示全部楼层
用抓包工具分析得出POST网址是 http://www.my-fresh.com/Store/Ajax/Context/DynamicLinq.ashx  
要把这个POST转化为GET才能再浏览器看到。要在网址后面加上?再加上FD抓包得出的数据包组合一起-----
得出以下链接:
http://www.my-fresh.com/Store/Aj ... DESC&select=new(Id%2CTitle%2CNumber%2CSerial%2CImage%2CImages%2CBrandId%2CVendorId%2CCartId%2CCategories%2CIntroduce%2CContent%2CSpecification%2CInspection%2CIsStockEnable%2CStock%2CIsVariantEnable%2CVariants%2CCreateOn%2CListPrice%2CPrice%2CIsOnSale%2CSaleStart%2CSaleEnd%2CSalePrice)&take=1&path=products

再把链接精简---把URL中不必要的字符去掉(两个&字符间)
精简后链接是:
http://www.my-fresh.com/Store/Aj ... 2&path=products
用URL解码器解码可以看出这个变化就是id="c55fda51-0c0a-4ea0-9028-09d2453f11ab"  所以要采集其他产品可以用POST请求找出ID去采集就可以了。。。


发表于 2017-9-19 08:56:55 | 显示全部楼层
自己抓包后 查看 我给你 那个网址 就知道了
您需要登录后才可以回帖 登录 | 加入会员

本版积分规则

QQ|手机版|Archiver|火车采集器官方站 ( 皖ICP备06000549 )

GMT+8, 2024-11-24 18:34

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表