火车采集大量数据时会发生数据丢失的问题，如何解决？

lhs80 · 发表于 2015-8-3 17:39:10

使用的批量/多页采集，每个父地址下有15个内容页，我采集了500页，应该有7500条数据，可是采集后只有7425条，如果将检测重复网址勾选掉，又会产生大量的重复数据，测试下了，如果勾掉检测重复网址，采集500页，会产生14000多条数据。怎么解决啊？求教

lhs80 · 发表于 2015-8-3 18:17:38

帮忙解决啊！

lhs80 · 发表于 2015-8-4 11:31:02

高手在哪里？

303718 · 发表于 2015-8-4 11:52:56

你可以分开几个规则一个规则采几页试试了。

SKY华 · 发表于 2015-8-4 14:38:13

将采集的速度调慢一些

xiaowap · 发表于 2015-8-16 22:11:42

哈哈。。帮不上忙

帐号		自动登录	找回密码
密码			加入会员