標籤: datalakehouse

【Data Lakehouse】數據架構的演變：從 Data Warehouse 到 Data Lake 再進化到最新的 Data Lakehouse

Jumping1 則迴響
  1. 前言
  2. 第一代數據架構 – Data Warehouse
    1. 特色
    2. 缺點
  3. 第二代數據架構 – Data Lake + Data Warehouse
    1. 特色
    2. 缺點
  4. 最新的數據架構 – Data Lakehouse
    1. Data Lakehouse 的優點
  5. Data Lakehouse 仍然有優化的空間
  6. 結論
  7. 個人感想
  8. 參考資料

前言

最近對於 Data Lakehouse 滿感興趣也很看好它，覺得 Data Lakehouse 有機會成為將來數據架構的主流，而最早提出 Data Lakehouse 這個專有名詞的目前看起來是 2020~2021 年 Databricks, UC Berkeley 和 Stanford University 所共同撰寫的一篇論文「Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics」，因此這次文章我整理了論文中提到的數據架構變遷歷史與原因，以及 Data Lakehouse 究竟有哪些優缺點、解決了哪些現在各大企業所面臨的問題。

第一代數據架構 – Data Warehouse

特色

  • 從關聯式資料庫中取得「結構化資料」
  • 屬於 schema-on-write（寫入時就得先定義好欄位）

缺點

  • 計算和儲存兩者一體，且可能是僅有一台地端機器，導致資料管理困難、費用高昂
  • 僅能儲存結構化資料，影片及音訊等數據無法儲存和查詢

隨著資料集的規模與類型快速增長，第一代數據架構已漸漸無法負荷，於是業界出現了第二代的 Two-tier 數據架構「Data Lake + Data Warehouse」。

閱讀更多»

【資料工程】關於 Data Lakehouse 的崛起與目前主流框架

Jumping1 則迴響
  1. 前言
  2. Data Lakehouse 的崛起
  3. 目前 Data Lakehouse 主流框架
  4. 個人感想
  5. 2024.10.13 補充
  6. 參考資料

前言

這幾年數據量增加速度越來越快，過去很多工具都標榜 Petabyte 等級，但今年開始有些公司的數據量已經達到 Exabyte (EB) 等級，例如 Uber 在近期的技術文章中就有提到他們 Hadoop 數據量已經超過 1 EB。

按照過去已經成熟普及的 Data Lake + Data Warehouse 體系，這麼大量的數據進到 Data Lake 後，再做處理儲存到 Data Warehouse 的流程，除了會造成非常大量的資料移動、資料處理、重複的數據產生之外，還需要維護複雜的大型 ETL Pipeline（Data Engineer 的惡夢…）

Data Lakehouse 的崛起

而這一兩年崛起的 Data Lakehouse 就是在解決這樣的問題，Data Lakehouse 通常會採用 Zero-copy + Open Table Format 的方式，讓 Data Lake 數據也兼具 Warehouse 的功能。

例如 Dashborad 使用的資料其實是直接取用自 Data Lake 的 Raw Data，等於直接省去了 Data Warehouse 這一層，這樣節省下來的成本會非常驚人！

目前 Data Lakehouse 主流框架

閱讀更多»