squallx 发表于 2012-3-30 18:33:53

几条建议,关于增量采集,插件功能增强等

建议如下:
1、建议考虑增加、完善增量采集的功能,就是程序可以根据设置判断某条采集回来的记录,与符合设定条件的之前采集的数据是否一样,如果一样就不采集,跳过,如果不一样,则采集,并把旧记录更新,同时把这条记录已发的状态改为未发。这样能增加不少效率,对某些网站尤为重要。
2、建议插件中可以得到更多的系统参数,比如采网址阶段的最终结果,或者N级网址采集过程中,某一部分的网址结果。这对自动构造网址以及插件开发带来更多的灵活性,能实现更多的应用。
3、增强完善任务调度功能,增加采集事物流,如A、B、C三个任务,可以按照A B A C A的顺序依次开始运行
4、任务网址库管理中,自动清理功能建议可以对任务进行复选,和清空网址库、合并网址库一样,对某些任务和网址库进行自动清理操作,现在是针对的所有任务。另此处有BUG,开启自动清理功能后,任务第一次运行没问题,再次运行的话,状态就一直保持在就绪等待中,无法改变,只有重启程序,已经反映到BUG区。

希望官方越做越强大,越做越灵活。

rq204 发表于 2012-3-31 16:25:18

2。新版本中已经增加了好多的插件处理位置。
4。该功能可以考虑添加

其它两项暂时还没有开发计划。

squallx 发表于 2012-3-31 17:25:02

关于2的功能,好多插件处理位置,能明确指示一下吗?
比如我想插件中得到网址分析的最后网址结果列表,能得到吗?

lbjyuer 发表于 2016-2-10 20:33:17

历史帖子回顾中。
页: [1]
查看完整版本: 几条建议,关于增量采集,插件功能增强等