配置Apache Impala資料源

1.1 版本

1.2 功能簡介

FineDataLink 支援連結 Apache Impala，進行定時任務讀取和寫入、資料服務發佈、資料管道寫入

4.2.0.2 及之後版本，資料連結中新增「Kudu設定」：

• 定時任務支援讀寫 Kudu 表。

• 管道任務支援寫入 Kudu 表。

• 資料服務支援發布 Kudu 資料。

2.1 前提條件

1）詳情請參見：前提條件

2）4.2.0.2 及之後版本，若想讀取、寫入 Kudu 表，需要使用 1.7.0 及以上版本的 Kudu。

3）定時任務&管道任務中，若想寫入 Apache Impala，必須配置「Kudu地址」。

2.2 版本和驅動

下載驅動，並將其上傳至 FineDataLink，如何上傳可參見：驱动管理 第 2 節

2.3 收集連結資訊

在連結資料庫之前，請收集以下資訊：

• 資料庫所在伺服器的 IP 地址和埠號。

• 資料庫的名稱。

• 若是帳號密碼認證，需要收集帳號和密碼；若是 Kerberos 認證，需要收集用戶端 principal 和 keytab 金鑰路徑。

• 4.2.0.2 及之後版本，若需要讀取或寫入 Kudu 表，需要準備 Kudu 地址。
  

1）管理者登入 FDL 工程，點選「管理系統>資料連結>資料連結管理」，選中某個資料夾後，建立資料連結。如下圖所示:

2）設定資料連結名稱（可同時修改資料連結所在目錄）。如下圖所示：

3）可根據資料源分類、支援形式、適配模組、資料源名稱篩選資料庫。如下圖所示：

4）驅動切換為「自訂」選擇 2.2 節上傳的驅動，然後輸入 2.3 節的連結資訊。如下圖所示：

各設定項說明如下表所示：

5）點選「測試連結」，若連結成功則點選「儲存」，如下圖所示：

4.1 資料開發-定時任務

1）定時任務中，支援讀取和寫入 Apache Impala，若寫入 Apache Impala，需要在資料連結中配置「Kudu地址」。

2）定時任務中寫入 Apache Impala 時，目標表若選擇「已存在表」，會校驗該表是不是 Kudu 表，若不是，不允許寫入。

3）定時任務中寫入 Apache Impala 時，不支援設定邏輯主鍵，必須標記物理主鍵。

4）定時任務中支援讀寫 Kudu 分割槽表：

• 目標表為已存在表時，點選「查看分割槽鍵設定」按鈕，可查看具體的分割槽鍵設定。
  

• 目標表為自動建表時，配置物理主鍵後，支援配置分割槽鍵。如下圖所示：

各設定項說明如下表所示：

分割槽鍵彈框配置完成後，將已選的分割槽欄位標記在欄位映射中。

4.2 管道任務

4.2.0.2 及之後版本，管道任務支援寫入 Impala 資料庫的 Kudu 表，目標表若選擇「已存在表」，會校驗該表是不是 Kudu 表，若不是，不允許寫入。

管道任務寫入 Kudu 表時，不支援無主鍵同步。

管道任務的目標表為「自動建表」時，支援配置分割槽鍵，配置分割槽鍵的介面與功能說明與定時任務配置分割槽鍵相同，請參見本文 4.1 節內容。

4.3 資料服務

4.2.0.2 及之後版本，資料服務支援發布 Kudu 資料。