1 Star 1 Fork 0

大南 / Data_Collection

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。
克隆/下载
贡献代码
同步代码
取消
提示: 由于 Git 不支持空文件夾,创建文件夹后会生成空的 .keep 文件
Loading...
README

数据采集项目

1 项目简介

​ 电商业务场景下,采集用户行为日志数据以及业务数据。

2 项目架构

1.数据采集项目架构.drawio

3 集群资源规划

服务名称 子服务 服务器hadoop102 服务器hadoop103 服务器hadoop104
HDFS NameNode
DataNode
SecondaryNameNode
YARN NodeManager
ResourceManager
ZooKeeper ZooKeeperServer
Flume(采集日志) Flume
Kafka Kafka
Flume(消费Kafka日志) Flume
Flume(消费Kafka业务) Flume
Hive Hive
MySQL MySQL
DataX DataX
Maxwell Maxwell

空文件

简介

基于电商平台的数据采集项目 展开 收起
Shell 等 3 种语言
取消

发行版

暂无发行版

贡献者

全部

近期动态

加载更多
不能加载更多了
1
https://gitee.com/danan_12345/Data_Collection.git
git@gitee.com:danan_12345/Data_Collection.git
danan_12345
Data_Collection
Data_Collection
master

搜索帮助