暴力采集,无视坑爹的各类分页.菜鸟必看

无言

大家好,我是无言.今天大姨妈来潮.跟大家分享一个暴力采集数据的方法.这想法是我自己想出来的,已经验证pass 不足之处还请大家一起交流交流...

最近想做个垃圾站,需要采集大量的文章.所以找了个大站做目标点.

但是这个站太多栏目,结构错综复杂.分页只调前5页.按常规方法难以处理.所以我暴力了!

1.我们用软件把全站链接全站读取出来(图1)


然后过滤得到的链接,就可以了!

坑爹的图片还不能上传.发个帖子都麻烦死...潜水去了!

21256

求软件......

凌晨一点半

求软件......