企业官网建设流程全解析

承接上篇：前面两篇我们搞懂了分层的价值以及五层架构每层的职责边界（ODS原始数据层/DWD 明细层 / DIM 维度层 / DWS 汇总层 / ADS 应用层）。理论如果脱离工具就是纸上谈兵，本篇把整套数仓链路和技术组件一一对应，讲清楚每一层该选什么工具、什么场景该离线、什么场景必须实时，同时对比离线与实时数仓链路的差异。

1、数据分层总览

关键逻辑提示：

1. DWS 是可选层；小团队可以跳过 DWS，DWD+DIM 直接输出 ADS；
2. DIM 维度表既可从 ODS 构建，也可以在 DWD 关联使用；
3. 所有业务清洗逻辑放在 DWD，ODS 只负责原样镜像源数据。

很多同学学习数仓技术栈容易犯一个错误：单纯背组件名词，分不清组件属于采集层还是计算层，不知道哪个组件服务于哪一层数仓表，甚至不管业务规模，上来就全套上 Flink、Doris，造成资源浪费与过度建设。

记住核心原则：技术是为分层架构服务，而不是让架构迁就技术。ODS负责数据接入存储；DWD/DIM/DWS 负责数据加工；ADS 负责对外查询交付。

2、数据采集层：把源数据同步到【ODS】

采集的目标：将业务 MySQL、Oracle、日志文件等源系统的数据，原样搬到数仓 ODS，不做业务清洗，和 ODS的定位严格匹配。

DataX

• 适用场景：离线全量 / 增量批量同步。MySQL ↔ Hive、MySQL ↔ Doris、文件与数据库之间互导。
• 优势：