1. 什麼是 Airbyte？
2. 為什麼要選擇 Airbyte？
3. 關於 Airbyte 的優點
   1. 介面友善
   2. No-Code & 可重複使用的 connectors
   3. 內建 Connector 一鍵更新版本的功能
   4. 不讓 Schema Change 搞壞 Pipeline
4. Airbyte 目前還是有些小缺點
   1. 無法管理 Secrets 和版本
   2. 開源版的 Airbyte 免費，但需要自架伺服器成本
   3. Metadata 增加儲存成本
   4. Connections 介面資訊不足
   5. 中文欄位名不支援
5. 總結

什麼是 Airbyte？

在資料工程領域，最常見的工作內容就是處理 ETL/ELT Pipeline（Extract, Load & Transform），現在 ELT 架構比 ETL 更加普及，因為 ETL 會先將資料進行處理後才儲存，就犧牲了資料的彈性（如果後續想要的資料長不一樣會很麻煩），ELT 則是從資料來源先儲存 Raw data，之後有需要做任何處理和變更都會更方便。

Airbyte 是一個開源的資料整合工具，主要是用來建立 ELT Pipeline 中的 EL，也就是把數據從一個來源同步到另一個目的地做儲存，Airbyte 提供很多預先定義好的 Connectors，使用者只要輸入一些資訊就可以建立好一條完整的 EL Pipeline，近期我也花了不少時間研究並嘗試使用 Airbyte，這篇文章就記錄一些心得感想。

為什麼要選擇 Airbyte？

做 EL 的工具很多，就我所知市面上比較熱門的應該是 Fivetran，但 Fivetran 算是需要付費的工具，而且並沒有做開源，因此我覺得 Airbyte 在開源＋免費的這部分很有優勢，截至撰文的此時（2024 年 6 月）GitHub 星數已經穩定上升到快 15K。

閱讀更多»