ETL計算引擎

ETL（Extract, Transform, Load）計算引擎是用於執行 ETL 過程中資料轉換階段的關鍵組件之一。它負責處理從不同資料源抽取的資料，並根據預定義的轉換規則進行資料的清洗、整合、計算和格式化等操作，最終將處理後的資料載入到目標系統（如資料庫、資料倉儲等）中。ETL計算引擎是ETL過程中的核心技術組件，透過其強大的資料處理能力和功能特性，可以實現從多源資料提取、轉換到載入目標系統的全流程資料管理和處理。

ETL基礎概念-過程

ETL處理分為五大模組，分別是：資料抽取、資料清理、庫內轉換、規則檢查、資料載入。各模組可靈活進行組合，形成ETL處理流程。

資料抽取

• 確定資料源，需要確定從哪些源系統進行資料抽取

• 定義資料API，對每個源檔案及系統的每個欄位進行詳細說明

• 確定資料抽取的方法：是主動抽取還是由源系統推播？是增量抽取還是全量抽取？是按照每日抽取還是按照每月抽取？

资料清理與轉換

• 资料清理 主要將不完整資料、錯誤資料、重複資料進行處理
  

• 資料轉換：空值處理、資料標準、資料拆分、資料驗證、資料更換、資料聯動

資料載入

將資料緩衝區的資料直接載入到資料庫對應表中，如果是全量方式則採用LOAD方式，如果是增量則根據業務規則MERGE進資料庫。

2.1 资料清理和驗證

對從源系統抽取的資料進行清洗，確定資料的準確性和一致。這可能包括去除重複資料、處理缺失值、統一資料格式等操作。

2.2 資料轉換

根據預定義的業務邏輯和轉換規則，對資料進行轉換和計算。例如，可以進行資料格式化、計算衍生欄位、進行數學運算或邏輯運算等。

2.3 資料映射和重構

將來自不同資料源的資料映射到目標系統的資料模型中。這可能涉及到對資料結構進行重構，以適應目標系統的資料模式。

2.4 效能優化

處理大量資料時，ETL計算引擎需要具備高效的效能和處理能力，以確定資料轉換和載入的速度和效率。

2.5 任務調度和監視

管理和監視ETL任務的執行，包括調度任務的執行時間、任務失敗時的錯誤處理以及實時監視任務執行狀態等功能。

2.6 故障容許度和恢復能力

在處理過程中，ETL計算引擎需要具備故障容許度機制，以應對突發情況或異常，確定資料處理的穩定性和完整性。

2.7 擴展性和靈活性

支援多種資料源和目標系統，以及靈活的配置選項和客製化需求，以滿足不同業務場景下的資料處理要求。

ELT流程則有所不同：

• 提取（Extract）：與ETL相同，從不同來源收集原始資料。

• 載入（Load）：將原始資料直接載入到目標資料庫中，而不進行預處理。

• 轉換（Transform）：在資料已經載入到目標資料庫後，再進行資料的轉換和處理。

ETL 和 ELT 的主要差別在於轉換步驟是在資料載入前還是載入後進行。ETL適合於資料量較小、轉換邏輯較為複雜的情況，而ELT則適合於資料量大、需要利用資料庫的強大處理能力來處理資料的情況。隨着大數據和雲端計算技術的發展，ELT因其能夠更有效地處理大規模資料而變得越來越流行。

在選擇ETL還是ELT時，需要考慮資料的規模、多樣性、實時性需求以及目標資料庫的處理能力。例如，對於需要大量資料轉換和清洗的傳統資料倉儲，ETL可能是更好的選擇。而對於需要快速載入資料並利用資料庫的強大處理能力進行後續處理的大數據場景，ELT可能更為合適。