企業現代數據棧企業現代 數據棧

串接分散的資料,建立決策的共同基礎。以 Kestra、ClickHouse、dbt 與 Metabase,組合從資料協調、擷取、建模到分析的現代資料架構。

從資料來源,一路走向商業決策從資料來源, 一路走向商業決策

現代數據棧:資料來源經 Kestra 協調,ClickHouse 擷取與儲存,dbt 轉換、分層倉儲,最後由 Metabase 分析。

Kestra 協調排程與事件;dbt 在 ClickHouse 內執行 SQL 轉換。資料流與控制關係如圖所示。

查看完整架構圖 ↗放大查看架構圖

完整架構圖

左右滑動查看完整架構

完整現代數據棧架構圖,包含資料來源、Kestra、ClickHouse、dbt 與 Metabase。

適合螢幕

放大後可滑動或拖曳,也可使用方向鍵查看,按 Escape 關閉。

五個階段,各司其職

  1. 01

    資料協調資料協調

    Kestra

  2. 02

    擷取與儲存擷取與儲存

    ClickHouse

  3. 03

    資料轉換資料轉換

    dbt

  4. 04

    分層資料倉儲分層資料倉儲

    ClickHouse

  5. 05

    分析與 BI分析與 BI

    Metabase

讓資料架構,保有選擇與成長的空間讓資料架構, 保有選擇與成長的空間

  1. 01

    雲地部署彈性

    依既有環境,規劃雲端、地端或混合部署。

  2. 02

    高度模組化

    依需求選擇與替換工具,分階段擴充資料架構。

  3. 03

    先載入,再轉換

    採用 ELT,在資料倉儲內建立模型與轉換資料。

  4. 04

    運算與儲存分離

    依部署方案分別規劃資源,對應不同工作負載。

  5. 05

    以 SQL 為核心

    用共同的資料語言,串起建模、轉換與分析。

  6. 06

    開放工具生態

    透過開源工具與 API,延伸 BI 與 AI 應用。

資料整理有依據,團隊協作有共識資料整理有依據, 團隊協作有共識

指標有共同定義

透過清楚的建模層,集中管理資料邏輯。

協作有共同語言

以 SQL 串連工程、建模與分析工作。

轉換責任更清楚

讓分析工程師在倉儲內維護轉換邏輯。

維護更有依據

將轉換拆成模型,結合測試與文件追查問題。

讓 ClickHouse成為資料分析的核心

認識 ClickHouse 代理產品認識 ClickHouse