lhs80 发表于 2015-8-3 17:39:10

火车采集大量数据时会发生数据丢失的问题，如何解决？

使用的批量/多页采集，每个父地址下有15个内容页，我采集了500页，应该有7500条数据，可是采集后只有7425条，如果将检测重复网址勾选掉，又会产生大量的重复数据，测试下了，如果勾掉检测重复网址，采集500页，会产生14000多条数据。怎么解决啊？求教

lhs80 发表于 2015-8-3 18:17:38

帮忙解决啊！:hug:

lhs80 发表于 2015-8-4 11:31:02

高手在哪里？:Q

303718 发表于 2015-8-4 11:52:56

你可以分开几个规则一个规则采几页试试了。

SKY华 发表于 2015-8-4 14:38:13

将采集的速度调慢一些

xiaowap 发表于 2015-8-16 22:11:42

哈哈。。帮不上忙
页: [1]
查看完整版本: 火车采集大量数据时会发生数据丢失的问题，如何解决？