企业制造数据分析平台

项目概述

一个运行在 Databricks 上的 dbt 项目，将原始 ERP 数据转化为可直接用于分析的模型。采用 Medallion（Bronze → Silver → Gold → Mart）分层架构，使经过清洗与整理的数据表能够支撑 KPI 看板、排行榜以及跨多条制造产线、人力效率、预生产计划和销售报表的运营视图。

架构设计

数据经过四个逐层精炼的层级，每一层职责清晰：

• Bronze——原始接入的 ERP 源表，按原样落地。
• Silver——清洗与标准化后的事实表和维度表（订单、单元、销售、扫描、工时）。
• Gold——面向业务领域整理的可用模型，包含交期、生产指标与返工原因等。
• Mart——分析视图：KPI、排行榜与聚合结果，供看板直接消费。

技术亮点

• 分层建模，配合可复用的 macro 统一 schema 命名与共享转换逻辑。
• 数据质量测试，并使用 snapshot 处理缓慢变化维度。
• 以 seed 驱动参考数据查找，实现可复现、可版本化的元数据管理。
• 基于 Unity Catalog 构建，Silver/Gold 层使用托管 Iceberg 表格式。

我的角色

• 参与平台的架构设计与部署。
• 在数据层之上构建了三层架构的 AI 自助查询应用，让生产部门无需经过数据团队即可自行查询所需数据。
• 实现权限分离，确保不同角色与部门只能访问各自授权范围内的数据。