暴力采集,无视坑爹的各类分页.菜鸟必看
大家好,我是无言.今天大姨妈来潮.跟大家分享一个暴力采集数据的方法.这想法是我自己想出来的,已经验证pass 不足之处还请大家一起交流交流...最近想做个垃圾站,需要采集大量的文章.所以找了个大站做目标点.
但是这个站太多栏目,结构错综复杂.分页只调前5页.按常规方法难以处理.所以我暴力了!
1.我们用软件把全站链接全站读取出来(图1)
http://b151.photo.store.qq.com/psb?/b501194f-192f-45d3-beba-f83349bd31b6/.iRX7NNvv*FeRyqFGBdUCHSDbJR3Eqac.SEOD7dYQiY!/b/YfeRDlrhegAAYkZjBVomfAAA
然后过滤得到的链接,就可以了!
坑爹的图片还不能上传.发个帖子都麻烦死...潜水去了! 求软件:(:(:(...... 求软件......:(:Q:lol
页:
[1]