本项目是一个全栈闭环系统，我们有用作数据可视化的web系统，然后用flume-kafaka-flume进行日志的读取，在hive设计数仓，编写spark代码进行数仓表之间的转化以及ads层表到mysql的迁移，使用azkaban进行定时任务的调度，使用技术：Java/Scala，Hadoop、Spark、Hive、Kafka、Flume、Azkaban， Echart等

基于电商平台的数据采集项目

基于SpringBoot与Spark的网上商城与卖家中心系统设计与实现

flume直接发送数据到hdfs，内置hadoop安装包，并配置好，可直接运行的flume服务器

网站流量日志数据分析系统

网上商城与卖家中心的flume日志采集配置文件