a116934411 发表于 2012-1-3 12:54:59

建议火车头修改已采集过的URL判断方式 解决采集的URL过长数据越多越卡的现象

不知道火车头现在的采集URL保存方式是不是整条保存 采集的时候查询整条URL是否采集过了
但是我发现现在的所有火车头版本 都是这样 如果采集的URL很长 那么采集内容的时候越到后面就会越卡 到最后就是根本没法采集 一采集就卡死 关于这个BUG火车头的技术可以自己测试 我用的是火车头个人版 数据库方式是Sqlite

lbjyuer 发表于 2016-2-8 15:38:59

和你们一块学习。。。
页: [1]
查看完整版本: 建议火车头修改已采集过的URL判断方式 解决采集的URL过长数据越多越卡的现象