hxsfcu 发表于 2020-10-28 17:51:51

请教一下,类似搜索结果的网址带有二次跳转要如何处理

样例:(【实在 是找不到任何规则, 麻烦高人点透一下)搜索结果链接:

https://weixin.sogou.com/link?url=dn9a_-gY295K0Rci_xozVXfdMkSQTLW6ft3wfAVofsP5Peu-UiA4DJzMcYMfO6FPEbp9qEzrkY-VgrFeYQugDm-mJuRYHrnv33RL9YHfhIX5sGQCTyUwT2wQhO74aW-tUuU8misnNPcQ3xSH2jLQi6dxZUMla4trpc_z1a2OtTSIFiJjRNCo8ES5UUeDd_0U5tN-ip1f7NF7yVcztcf7eHcM0Gw2mONaWRFn9Sq5IMM260Na1llmwdykN0ChdabQhQF2czVyf3LQkUo6s1v10dSFOrCjzvvkO7TY-lc-oO4.&type=2&query=aaa&token=B06F0CEC3BDC8E88F8FC4B40E146B60EF9A3D67A5F993EF5&k=62&h=g



打开后的真实链接

https://mp.weixin.qq.com/s?src=3&timestamp=1603878645&ver=1&signature=BgOHn-02n6f7FlnFLZxptCGrRbONR-zLAj4y9bxNSW5n-afEelmWX7gU2eUJ4I20IWqFaYGu7fhnQoC28hTros8G0sWX4bjyfyIGIViuPx8aToIgxiQ9mBH0fwEZ8ShGci4Yl8Zm9s0IRPapYCtUwA==

leweizxl 发表于 2020-10-29 13:43:08

通过列表页的地址,采集跳转后的实际地址,
搜狗微信采集有访问限制,访问多了会出现验证码,
而且跳转后的实际地址也是临时地址,一段时间后就会失效

推荐的方式是使用火车浏览器软件,模拟打开实际页面进行采集

hxsfcu 发表于 2020-11-3 16:57:15

leweizxl 发表于 2020-10-29 13:43
通过列表页的地址,采集跳转后的实际地址,
搜狗微信采集有访问限制,访问多了会出现验证码,
而且跳转后的实际 ...

好的 感谢 好的 感谢 好的 感谢
页: [1]
查看完整版本: 请教一下,类似搜索结果的网址带有二次跳转要如何处理