[离线数仓] 总结
1. 数仓概念
2. 项目需求及架构设计
2.1 项目需求分析
2.1.1 项目需求
2.1.2 离线需求
2.1.3 实时需求
2.2 项目框架
2.2.1 技术选型
2.2.2 系统数据流程设计
2.2.3 测试集群服务器规划
| 服务名称 |
子服务 |
服务器 hadoop111 |
服务器 hadoop112 |
服务器 hadoop113 |
| HDFS |
NameNode |
√ |
||
| DataNode |
√ |
√ |
||
| SecondaryNameNode |
√ |
|||
| Yarn |
Resourcemanager |
√ |
||
| NodeManager |
√ |
√ |
||
| Zookeeper |
Zookeeper Server |
√ |
√ |
√ |
| Flume（采集日志） |
Flume |
√ |
||
| Kafka |
Kafka |
√ |
√ |
√ |
| Flume（Kafka日志） |
Flume |