企业官网建设流程全解析

DataHub 使用 MariaDB 作为 GMS 存储后端的完整部署指南

【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址: https://gitcode.com/GitHub_Trending/da/datahub

本指南围绕仓库 docker/mariadb/README.md 展开，介绍如何用官方未修改的 MariaDB 镜像替换 DataHub GMS 默认存储，覆盖 Docker Compose 覆盖文件、环境变量与连接参数解析，并结合 docker/datahub-gms/env/docker.mariadb.env 和 metadata-ingestion 源码说明 MariaDB 在 DataHub 中的接入方式与适用边界，帮助读者完成一个可运行、可自检的 MariaDB 版 DataHub 部署。

DataHub 的 GMS（Generalized Metadata Service）默认以 MySQL 作为主存储，但仓库也内置了使用 MariaDB 作为备选存储后端的完整方案。在 docker/mariadb/README.md 中，项目明确说明：DataHub GMS 可以将 MariaDB 作为替代存储后端使用，且直接采用 Docker Hub 上的官方 MariaDB 镜像，不做任何修改。这意味着接入方式完全围绕 Docker Compose 的服务编排与 GMS 的 JDBC 配置展开，无需定制镜像。

MariaDB 在 DataHub 中的定位与适用前提

从仓库结构看，MariaDB 与 MySQL 在 DataHub 中属于"同一族"存储方案：

• GMS 通过 EBEAN_DATASOURCE_URL 这类EBEAN_DATASOURCE_*环境变量连接关系型数据库，MariaDB 只需把 JDBC URL、驱动类名切换到mariadb协议即可；
• 元数据采集侧，metadata-ingestion/src/datahub/ingestion/source/sql/mariadb.py 中的MariaDBSource直接继承自MySQLSource，仅通过get_platform()返回"mariadb"来区分平台标识，metadata-ingestion/tests/unit/test_mariadb_source.py 也验证了这一点（source.platform == "mariadb"）。

因此可以推断：DataHub 官方把 MariaDB 视为 MySQL 兼容存储，用于替换 GMS 的主存储后端，而非独立实现一套全新存储层。使用前需要确认你的部署版本确实包含了上述 Compose 覆盖文件与 GMS 环境变量模板（本仓库当前版本均存在）。

使用官方 MariaDB 镜像的 Compose 覆盖方案

接入入口是 docker/mariadb/docker-compose.mariadb.yml，它是一个典型的 Docker Compose覆盖（override）文件，用来在标准 DataHub 堆栈之上"叠加"一个 MariaDB 服务，并让datahub-gms指向它：

# Override to use MariaDB as a backing store for datahub-gms. --- services: mariadb: hostname: mariadb image: mariadb:10.5 env_file: env/docker.env ports: - '3306:3306' datahub-gms: env_file: ../datahub-gms/env/dev.mariadb.env depends_on: - mariadb networks: default: name: datahub_network

各配置项的作用与含义：

从命名习惯看，env/docker.env与../datahub-gms/env/dev.mariadb.env分别对应"容器侧数据库初始化"与"GMS 侧连接配置"，在实际使用前需要确认这两个 env 文件在目标部署目录中已按模板准备好（仓库中可参考 MySQL 的对应模板 docker/profiles/mysql/env/docker.env，其中包含MYSQL_DATABASE=datahub、MYSQL_USER=datahub、MYSQL_PASSWORD=datahub、MYSQL_ROOT_PASSWORD=datahub等初始化变量，MariaDB 官方镜像同样支持这些MYSQL_*环境变量）。

GMS 连接 MariaDB 的关键环境变量

GMS 侧的核心配置集中在 docker/datahub-gms/env/docker.mariadb.env，这份模板展示了切换到 MariaDB 后必须调整的存储相关变量：

DATAHUB_UPGRADE_HISTORY_KAFKA_CONSUMER_GROUP_ID=generic-duhe-consumer-job-client-gms EBEAN_DATASOURCE_USERNAME=datahub EBEAN_DATASOURCE_PASSWORD=datahub EBEAN_DATASOURCE_HOST=mariadb:3306 EBEAN_DATASOURCE_URL=jdbc:mariadb://mariadb:3306/datahub EBEAN_DATASOURCE_DRIVER=org.mariadb.jdbc.Driver KAFKA_BOOTSTRAP_SERVER=broker:29092 KAFKA_SCHEMAREGISTRY_URL=http://schema-registry:8081 ELASTICSEARCH_HOST=elasticsearch ELASTICSEARCH_PORT=9200 ES_BULK_REFRESH_POLICY=NONE ELASTICSEARCH_INDEX_BUILDER_SETTINGS_REINDEX=true ELASTICSEARCH_INDEX_BUILDER_MAPPINGS_REINDEX=true NEO4J_HOST=http://neo4j:7474 NEO4J_URI=bolt://neo4j NEO4J_USERNAME=neo4j NEO4J_PASSWORD=datahub MAE_CONSUMER_ENABLED=true MCE_CONSUMER_ENABLED=true JAVA_OPTS=-Xms1g -Xmx1g ENTITY_REGISTRY_CONFIG_PATH=/datahub/datahub-gms/resources/entity-registry.yml

其中与 MariaDB 强相关的四个存储变量是：

其余变量（Kafka、Elasticsearch、Neo4j 等）与标准堆栈保持一致，说明 MariaDB 只替换"主存储"一环，消息队列、搜索索引、图存储等组件不受影响。

启动 MariaDB 版 DataHub 的步骤与自检方法

由于仓库中的docker/mariadb目录本身只提供 Compose 覆盖文件和 README，实际启动流程可以按如下方式组织（注意：以下命令描述的是仓库允许的查看与运行方式，仓库本身为只读，请在可写的部署目录中执行）：

1. 准备基础堆栈：将仓库中完整的 DataHub Docker 部署模板（docker/profiles下的各 compose 文件及env模板，例如 docker/profiles/docker-compose.yml）复制到部署目录；
2. 准备 MariaDB 相关 env 文件：按 docker/datahub-gms/env/docker.mariadb.env 的键值对创建 GMS 侧 env，按 docker/profiles/mysql/env/docker.env 的MYSQL_*变量（MYSQL_DATABASE=datahub、MYSQL_USER=datahub、MYSQL_PASSWORD=datahub）创建 MariaDB 容器初始化 env；仓库中docker/mariadb/docker-compose.mariadb.yml引用的是相对路径env/docker.env与../datahub-gms/env/dev.mariadb.env，请按实际目录结构调整；
3. 以覆盖方式启动：在部署目录执行docker compose -f docker-compose.yml -f docker-compose.mariadb.yml up -d（具体文件名以你复制的模板为准），Compose 会按depends_on顺序先拉起mariadb再启动datahub-gms；
4. 自检连接：
   • 用任意 MySQL/MariaDB 客户端连接宿主机的3306端口，检查datahub数据库与账号是否创建成功；
   • 查看datahub-gms容器日志，确认 JDBC 驱动org.mariadb.jdbc.Driver加载成功、EBean 初始化未报连接错误；
   • 确认mariadb与datahub-gms都挂在datahub_network网络上（docker network inspect datahub_network）。

从源码看 MariaDB 在 DataHub 生态中的接入方式

除了 GMS 存储后端，仓库还为 MariaDB 提供了元数据采集支持，两者共同构成了"存储 + 采集"的完整闭环：

• 采集端：metadata-ingestion/src/datahub/ingestion/source/sql/mariadb.py 定义了MariaDBSource，通过装饰器声明平台名为"MariaDB"、支持状态为 GA，并复用MySQLConfig作为配置类——这意味着采集 MariaDB 元数据时，recipe 配置与 MySQL 完全同构，只需把type指定为mariadb；
• 能力矩阵：从源码装饰器可以确认 MariaDB 采集端支持平台实例（默认开启）、数据画像（可选开启）、使用统计与血缘（通过include_usage_statistics读取performance_schema或mysql.general_log）、视图级表血缘与列血缘（默认开启）等能力；
• 测试验证：metadata-ingestion/tests/unit/test_mariadb_source.py 通过assert source.platform == "mariadb"验证了平台标识被正确设置为mariadb，与 MySQL 源区分开来；
• 文档与示例：metadata-ingestion/docs/sources/mariadb/ 目录下提供了 MariaDB 采集的 pre/post 说明文档与 recipe 示例（mariadb_recipe.yml），集成测试 golden 文件见 metadata-ingestion/tests/integration/mariadb/。

与 MySQL 方案的对比与注意事项

仓库同时提供了 MySQL（docker/profiles/mysql/README.md）与 MariaDB（docker/mariadb/README.md）两条存储路线，二者在部署模式上高度相似，需要注意的差异点包括：

• 镜像来源：两者都强调使用 Docker Hub 官方镜像、不做修改；MariaDB 固定为mariadb:10.5，而 profiles 中的 MySQL 默认可通过DATAHUB_MYSQL_VERSION指定版本（如8.2），并额外配置了utf8mb4字符集与caching_sha2_password认证插件；
• JDBC 驱动：MariaDB 必须使用org.mariadb.jdbc.Driver与jdbc:mariadb://协议（见 docker/datahub-gms/env/docker.mariadb.env），不要与 MySQL 的驱动/URL 混用；
• 账号初始化：MariaDB 官方镜像同样识别MYSQL_DATABASE、MYSQL_USER、MYSQL_PASSWORD等环境变量（参考 docker/profiles/mysql/env/docker.env 的键名），确保 GMS 侧EBEAN_DATASOURCE_USERNAME/PASSWORD与之完全一致；
• 适用范围：本文方案针对 GMS 主存储后端替换；若你同时需要将 MariaDB 作为被采集的数据源，则应使用 metadata-ingestion 的mariadbsource（详见 metadata-ingestion/docs/sources/mariadb/mariadb_pre.md），两者属于不同层面的接入。

按照上述配置，即可在 DataHub 中启用 MariaDB 存储后端，并通过 Compose 覆盖文件、GMS 环境变量与源码侧的平台标识，完整理解"官方镜像 + 零修改接入"的落地路径。

【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址: https://gitcode.com/GitHub_Trending/da/datahub