2021 年的「資料工程師」有哪些常見的技能需求?

前言

近期因為轉換工作面試了不少公司的資料工程師

面試流程不外乎就是「自介」+「考試」+「問問題」

在問問題的環節經常被問到會不會使用某些工具

以下大概整理一下我面試 Data Engineer 最常被問到的幾項技術

最常被問到的

⭐️ Docker (容器化)

⭐️ K8S (CI/CD)

⭐️ Airflow (排程自動化)

覺得這三項已經完全是基本款要會的了

幾乎每一間公司都會用到

部分公司也有問到

📌 Redis (Cache 資料庫)

📌 RabbitMQ (Message Queue)

📌 Kafka (Streaming Data)

📌 Spark (分散式架構)

📊 視覺化工具

  • 現在 Data Studio 越來越多公司在使用
  • Tableau 也還是滿多的
  • 另外部分公司會使用 Superset
  • 反而我比較熟悉的 Metabase 相較冷門,甚至有的公司連聽都沒聽過

☁️ 雲端

  • 主要我遇到的公司大多都是使用 GCP (搭配 BigQuery)
  • 另外一部分則是 AWS

☘️ 其他

  • 若是數位媒體或廣告相關的產業可能就必備 Google Analytics 相關的經驗
  • 很多公司的資料工程師也會碰到 Machine Learning 相關的工作內容,所以熟悉 Scikit-LearnTensorFlow 也會很加分

結語

其實還有很多技術我這邊沒有寫出來的

我覺得「樂於學習新事物」是加入資料科學領域的重要特質之一

Data 相關的技術和演算法發展的速度真的好驚人啊~

最近在 Medium 看到有人整理了 80 個左右的資料工程技術(文章在這

有興趣的人可以參考看看自己知道或是用過幾個

也可以追蹤我的 FB 粉專:JumpingCode 資料科學手記

廣告

發表迴響

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com 標誌

您的留言將使用 WordPress.com 帳號。 登出 /  變更 )

Twitter picture

您的留言將使用 Twitter 帳號。 登出 /  變更 )

Facebook照片

您的留言將使用 Facebook 帳號。 登出 /  變更 )

連結到 %s