代码拉取完成,页面将自动刷新
emlog是一个基于Flume(1.9)+elasticsearch(7.10.2)的日志收集agent项目,它主要通过快速配置与项目整合内嵌的形式实现对普通服务器或者云部署服务的日志实时收集、分析、预警.
emlog包括以下五大模块,日志Agent模块、API运营日志分析模块()、监控预警模块(规划中)、运营日志展示模块(兼容kibana展示)、flume插件扩展开发模块.
1、日志Agent模块:log4j、log4j2、logback等日志框架的扩展内嵌形式日志收集器等功能;
2、API运营日志分析模块:对API等运营日志进行分析、统计
3、监控预警模块:支持用户预警自定义配置,通过日志分析模块的数据进行实时预警;
4、运营日志管理模块:对收集的日志进行查询展示、运维日志索引库管理等功能;
5、flume插件扩展开发模块:对flume进行组件扩展支持
emlog將打造一个实时收集、分析、预警、展示的全链路的日志系统;助力各大企业快速接入日志系统,继而提高开发人员的问题排查效率、系统优化。
技术
emlog-agent:log4j、log4j2、logback append + disruptor + flume Agent
flume:flume-ng-elasticsearch-sink + flume-hdfs-sink + flume-ng-kafka-sink
kafka:实时分析数据缓冲MQ
flink:实时计算框架
hadoop:日志长期归档存储(hdfs)分析等
elasticsearch:短期实时日志存储
InfluxDB:API访问数据存储
1、实时日志系统;
2、监控指标系统;
01、规划中
02、......
03、.......
一阶段:
01、emlog-agent----已完成
02、flume-ng-elasticsearch-sink----已完成(扩展调试)
03、kibana数据展示----已完成(扩展调试)
04、flume-ng-kafka-sink----进行中(扩展调试)(ing)
05、flume ng interceptor(支持flume独立非内嵌日志融合)扩展开发----规划中
06、运营日志展示模块(兼容kibana展示)----规划中
07、文档编写----进行中
二阶段
08、API运营日志分析模块----延期执行
09、监控预警模块----延期执行
1.emlog-agent[2021-02]
2.flume-ng-elasticsearch-sink[2021-02]
3.flume-ng-kafka-sink----进行中(扩展调试)(ing)[2021-03]
4.flume ng interceptor(支持flume独立非内嵌日志融合)扩展开发-待启动[2021-03-10]
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。