-
具備 10 年以上資料與軟體工程經驗,其中 8 年專注於資料平台、ETL/ELT 與即時串流管線設計。
-
熟悉 Python、SQL、Spark、Airflow、Kafka 與 dbt,能將複雜業務需求轉化為可維運的資料產品。
-
具備雲端資料倉儲與湖倉架構實戰經驗,曾協助企業降低 40% 資料處理成本並提升資料交付效率。
-
重視資料品質、可觀測性與跨團隊協作,樂於推動資料治理與工程最佳實踐。
資深資料工程師|資料平台與即時資料管線
具備 10 年以上資料與軟體工程經驗,其中 8 年專注於資料平台、ETL/ELT 與即時串流管線設計。
熟悉 Python、SQL、Spark、Airflow、Kafka 與 dbt,能將複雜業務需求轉化為可維運的資料產品。
具備雲端資料倉儲與湖倉架構實戰經驗,曾協助企業降低 40% 資料處理成本並提升資料交付效率。
重視資料品質、可觀測性與跨團隊協作,樂於推動資料治理與工程最佳實踐。
主導企業級資料湖倉平台建置,整合 20+ 業務系統,支援每日 5 TB 以上批次與串流資料。
設計以 Airflow、dbt 與 Spark 為核心的 ELT 流程,將資料交付週期由 3 天縮短至 4 小時。
建立資料品質監控與告警機制,涵蓋完整性、即時性與一致性檢查,降低線上資料事故 60%。
推動資料治理規範與指標字典,與資料分析、風控及產品團隊協作定義核心資料資產。
帶領 4 人資料工程小組,負責技術選型、程式碼審查與初階工程師培育。
建置電信用戶行為資料管線,處理每日百萬級事件資料並匯入雲端資料倉儲。
使用 Python 與 SQL 開發批次 ETL 作業,支援行銷名單、流失預測與個人化推薦。
導入 Kafka 與 Spark Streaming 處理即時流量資料,提供近即時營運儀表板。
優化資料分割與查詢策略,降低 BigQuery 掃描量與月結成本約 35%。
與資料科學家合作特徵工程流程,提升模型訓練資料準備效率。
開發政府與企業資料交換系統,負責資料轉檔、排程與監控模組。
使用 Java 與 Oracle 資料庫實作批次匯入流程,確保跨系統資料一致性。
協助建立系統監控與錯誤重試機制,提升批次作業穩定度。
表彰在資料湖倉平台與即時風控資料管線專案中的卓越貢獻,專案協助降低資料延遲並提升決策效率。
肯定在即時流量分析專案中整合資料工程、資料科學與行銷團隊的協作表現。
探討湖倉架構在金融業資料整合與治理上的實務經驗。
分享資料品質監控、血緣追蹤與成本優化策略。
使用 Kafka、Spark Structured Streaming 與 Redis 建置毫秒級事件處理流程。
設計可回溯的特徵版本管理與延遲監控,支援風控模型即時推論。
將規則更新到上線的週期由兩週縮短至兩天。
建立可配置的資料品質規則引擎,支援空值、重複、分布偏移與時效檢查。
整合 Airflow 與 Prometheus,提供自動告警與 SLA 報表。
覆蓋 150+ 核心資料表,協助團隊提前發現重大資料異常。
定期分享資料管線設計、資料品質與雲端成本優化主題。
協助規劃初學者資料工程工作坊,指導學員完成端到端專案。
參與社群年會籌備,推動產學交流與知識分享。