找回密码

火车采集器软件交流官方论坛

搜索
火车采集器V9版免费下载火车浏览器 - 可视采集,万能群发,全自动脚本工具
查看: 3223|回复: 3

几条建议,关于增量采集,插件功能增强等

[复制链接]
发表于 2012-3-30 18:33:53 | 显示全部楼层 |阅读模式
建议如下:
1、建议考虑增加、完善增量采集的功能,就是程序可以根据设置判断某条采集回来的记录,与符合设定条件的之前采集的数据是否一样,如果一样就不采集,跳过,如果不一样,则采集,并把旧记录更新,同时把这条记录已发的状态改为未发。这样能增加不少效率,对某些网站尤为重要。
2、建议插件中可以得到更多的系统参数,比如采网址阶段的最终结果,或者N级网址采集过程中,某一部分的网址结果。这对自动构造网址以及插件开发带来更多的灵活性,能实现更多的应用。
3、增强完善任务调度功能,增加采集事物流,如A、B、C三个任务,可以按照A B A C A的顺序依次开始运行
4、任务网址库管理中,自动清理功能建议可以对任务进行复选,和清空网址库、合并网址库一样,对某些任务和网址库进行自动清理操作,现在是针对的所有任务。另此处有BUG,开启自动清理功能后,任务第一次运行没问题,再次运行的话,状态就一直保持在就绪等待中,无法改变,只有重启程序,已经反映到BUG区。

希望官方越做越强大,越做越灵活。
发表于 2012-3-31 16:25:18 | 显示全部楼层
2。新版本中已经增加了好多的插件处理位置。
4。该功能可以考虑添加

其它两项暂时还没有开发计划。
 楼主| 发表于 2012-3-31 17:25:02 | 显示全部楼层
关于2的功能,好多插件处理位置,能明确指示一下吗?
比如我想插件中得到网址分析的最后网址结果列表,能得到吗?
发表于 2016-2-10 20:33:17 | 显示全部楼层
历史帖子回顾中。
您需要登录后才可以回帖 登录 | 加入会员

本版积分规则

温馨提示:建议您联系官方定制服务,通过官方支付方式完成支付。您与其他非官方账号发生的交易,我方概不承担责任。网络有风险,交易需谨慎

QQ| 手机版|Archiver| 火车采集器官方站

Copyright © 2001-2013 Comsenz Inc.  Template by Comeings! All Rights Reserved.

Powered by Discuz! X3.4( 皖ICP备06000549 )

快速回复 返回顶部 返回列表