网页反采集问题

jzheng · 发表于 2017-9-23 16:58:21

本帖最后由 jzheng 于 2017-9-23 17:01 编辑

有个目标网页内含列表（每页30条），火车头单任务每次抓取只能获得15条数据，超出15条就抓空，请问大神们如何解决
测试了加大采集间隔但依然效果不好，感觉网页有单位分钟采集上限的限制，但网页批量打开不受限制

leweizxl · 发表于 2017-9-25 08:44:16

用fiddler抓包分析下看看

longouxiu · 发表于 2017-9-27 13:30:17

网址那发出来看看