jzheng 发表于 2017-9-23 16:58:21

网页反采集问题

本帖最后由 jzheng 于 2017-9-23 17:01 编辑

有个目标网页内含列表（每页30条），火车头单任务每次抓取只能获得15条数据，超出15条就抓空，请问大神们如何解决
测试了加大采集间隔但依然效果不好，感觉网页有单位分钟采集上限的限制，但网页批量打开不受限制

leweizxl 发表于 2017-9-25 08:44:16

用fiddler抓包分析下看看

longouxiu 发表于 2017-9-27 13:30:17

网址那 发出来看看
页: [1]
查看完整版本: 网页反采集问题