# 林彥廷

Headline：資深資料工程師｜資料平台與即時資料管線

- Email：yanting.lin@dataops.tw
- Phone：+886 912 345 678
- URL：https://www.yantinglin.dev

位置：中國臺灣，臺北市，臺北市，信義區松仁路 88 號，110

個人主頁：
- LinkedIn：[@yanting-lin-data](https://www.linkedin.com/in/yanting-lin-data)
- GitHub：[@yantinglin](https://github.com/yantinglin)

## 簡介

- 具備 10 年以上資料與軟體工程經驗，其中 8 年專注於資料平台、ETL/ELT 與即時串流管線設計。
- 熟悉 Python、SQL、Spark、Airflow、Kafka 與 dbt，能將複雜業務需求轉化為可維運的資料產品。
- 具備雲端資料倉儲與湖倉架構實戰經驗，曾協助企業降低 40% 資料處理成本並提升資料交付效率。
- 重視資料品質、可觀測性與跨團隊協作，樂於推動資料治理與工程最佳實踐。


## 教育背景

### 國立臺灣大學

碩士，資訊工程學系，成績：3.9/4.0，2012年9月–2014年7月

URL：https://www.ntu.edu.tw/

課程：資料庫系統、分散式系統、資料探勘、雲端計算、大數據分析、機器學習

Summary：
- 專注於分散式資料處理與資料庫系統研究，畢業論文探討即時串流查詢最佳化。
- 擔任資料庫課程助教，協助學生理解關聯式與 NoSQL 資料模型。
- 參與產學合作專案，建置校內研究資料交換平台。


### 國立清華大學

學士，資訊工程學系，成績：3.7/4.0，2008年9月–2012年6月

URL：https://www.nthu.edu.tw/

課程：資料結構、演算法、作業系統、計算機網路、軟體工程

Summary：
- 奠定程式設計、演算法與系統設計基礎。
- 參與系學會資訊組，維護活動報名與資料統計系統。


## 工作經歷

### 資深資料工程師

瀚宇金融科技股份有限公司，2020年3月至今

關鍵字：資料湖倉、Apache Spark、Airflow、dbt、Kafka、資料治理

Summary：
- 主導企業級資料湖倉平台建置，整合 20+ 業務系統，支援每日 5 TB 以上批次與串流資料。
- 設計以 Airflow、dbt 與 Spark 為核心的 ELT 流程，將資料交付週期由 3 天縮短至 4 小時。
- 建立資料品質監控與告警機制，涵蓋完整性、即時性與一致性檢查，降低線上資料事故 60%。
- 推動資料治理規範與指標字典，與資料分析、風控及產品團隊協作定義核心資料資產。
- 帶領 4 人資料工程小組，負責技術選型、程式碼審查與初階工程師培育。


### 資料工程師

遠景電信數據股份有限公司，2016年8月–2020年2月

關鍵字：Python、SQL、Kafka、Spark Streaming、BigQuery、ETL

Summary：
- 建置電信用戶行為資料管線，處理每日百萬級事件資料並匯入雲端資料倉儲。
- 使用 Python 與 SQL 開發批次 ETL 作業，支援行銷名單、流失預測與個人化推薦。
- 導入 Kafka 與 Spark Streaming 處理即時流量資料，提供近即時營運儀表板。
- 優化資料分割與查詢策略，降低 BigQuery 掃描量與月結成本約 35%。
- 與資料科學家合作特徵工程流程，提升模型訓練資料準備效率。


### 軟體工程師

凌雲資訊服務股份有限公司，2014年7月–2016年7月

關鍵字：Java、Oracle、ETL、Shell

Summary：
- 開發政府與企業資料交換系統，負責資料轉檔、排程與監控模組。
- 使用 Java 與 Oracle 資料庫實作批次匯入流程，確保跨系統資料一致性。
- 協助建立系統監控與錯誤重試機制，提升批次作業穩定度。


## 語言

- 中文：母語或雙語水平，關鍵字：母語
- 英語：完全專業水平，關鍵字：TOEIC 950、技術文件閱讀與撰寫
- 日語：有限工作水平，關鍵字：JLPT N3

## 專業技能

- 資料工程：專家，關鍵字：Python、SQL、Apache Spark、Airflow、dbt、Kafka
- 雲端與基礎設施：高級，關鍵字：AWS、GCP、Terraform、Docker、Kubernetes
- 資料倉儲與湖倉：高級，關鍵字：Snowflake、BigQuery、Databricks、Redshift
- 程式設計：高級，關鍵字：Python、Scala、Java、Bash
- 資料治理與可觀測性：高級，關鍵字：Data Quality、Lineage、Metadata、Monitoring

## 榮譽

### 年度資料創新獎

瀚宇金融科技股份有限公司，2023年12月

Summary：
表彰在資料湖倉平台與即時風控資料管線專案中的卓越貢獻，專案協助降低資料延遲並提升決策效率。

### 最佳跨團隊協作獎

遠景電信數據股份有限公司，2019年11月

Summary：
肯定在即時流量分析專案中整合資料工程、資料科學與行銷團隊的協作表現。


## 證書

### AWS Certified Data Analytics - Specialty

Amazon Web Services，2022年6月

URL: https://aws.amazon.com/certification/certified-data-analytics-specialty/
### Google Cloud Professional Data Engineer

Google Cloud，2021年9月

URL: https://cloud.google.com/learn/certification/data-engineer
### Databricks Certified Data Engineer Professional

Databricks，2024年3月

URL: https://www.databricks.com/learn/certification/data-engineer-professional

## 出版刊物

### 以 Lakehouse 架構打造可觀測資料平台

iThome 技術專欄，2023年5月

URL：https://www.ithome.com.tw/

Summary：
- 探討湖倉架構在金融業資料整合與治理上的實務經驗。
- 分享資料品質監控、血緣追蹤與成本優化策略。


## 項目

### 即時風控資料管線

支援金融交易風控的即時事件處理與特徵計算平台，2022年1月–2023年12月

URL：https://github.com/yantinglin/realtime-risk-pipeline

關鍵字：Kafka、Spark、Redis、風控

Summary：
- 使用 Kafka、Spark Structured Streaming 與 Redis 建置毫秒級事件處理流程。
- 設計可回溯的特徵版本管理與延遲監控，支援風控模型即時推論。
- 將規則更新到上線的週期由兩週縮短至兩天。


### 資料品質監控平台

集中管理資料品質規則、告警與健康度儀表板，2021年3月–2022年10月

URL：https://github.com/yantinglin/data-quality-hub

關鍵字：Data Quality、Airflow、Prometheus、Observability

Summary：
- 建立可配置的資料品質規則引擎，支援空值、重複、分布偏移與時效檢查。
- 整合 Airflow 與 Prometheus，提供自動告警與 SLA 報表。
- 覆蓋 150+ 核心資料表，協助團隊提前發現重大資料異常。


## 興趣愛好

- 開源社群：Apache Airflow、dbt、技術寫作
- 戶外活動：登山、慢跑、攝影

## 志願服務

### 臺灣資料工程社群

志工講者與工作坊導師，2021年1月至今

URL：https://www.meetup.com/taiwan-data-engineering/

Summary：
- 定期分享資料管線設計、資料品質與雲端成本優化主題。
- 協助規劃初學者資料工程工作坊，指導學員完成端到端專案。
- 參與社群年會籌備，推動產學交流與知識分享。
