1. 概述编辑
1.1 版本
| FineDataLink版本 | 功能說明 |
|---|---|
| 3.5 | 定時任務中，資料輸入適配 Impala |
| 4.0.1.1 | 定時任務中，資料匯出適配 Impala |
| 4.1 | 資料服務支援 Impala 資料源 |
| 4.1.8.3 | 適配Impala 3.4、Impala 4.1 |
| 4.2.0.2 | 資料連結中新增「Kudu設定」：
|
1.2 功能簡介
FineDataLink 支援連結 Apache Impala，進行定時任務讀取和寫入、資料服務發佈、資料管道寫入
4.2.0.2 及之後版本，資料連結中新增「Kudu設定」：
定時任務支援讀寫 Kudu 表。
管道任務支援寫入 Kudu 表。
資料服務支援發布 Kudu 資料。
2. 準備工作编辑
2.1 前提條件
1）詳情請參見：前提條件
2）4.2.0.2 及之後版本，若想讀取、寫入 Kudu 表，需要使用 1.7.0 及以上版本的 Kudu。
3）定時任務&管道任務中，若想寫入 Apache Impala，必須配置「Kudu地址」。
2.2 版本和驅動
下載驅動，並將其上傳至 FineDataLink，如何上傳可參見：驱动管理 第 2 節
| 支援的資料庫版本 | 驅動包連結 |
|---|---|
Impala 2.2 Impala 2.3 Impala 2.8 Impala 2.9 Impala 2.10 Impala 3.4 Impala 4.1 | |
| Impala 2.10 kudu1.5 |
ClouderaImpalaJDBC41_2.5.43.rar |
2.3 收集連結資訊
在連結資料庫之前，請收集以下資訊：
資料庫所在伺服器的 IP 地址和埠號。
資料庫的名稱。
若是帳號密碼認證，需要收集帳號和密碼；若是 Kerberos 認證，需要收集用戶端 principal 和 keytab 金鑰路徑。
4.2.0.2 及之後版本，若需要讀取或寫入 Kudu 表，需要準備 Kudu 地址。
3. 具體連結步驟编辑
1）管理者登入 FDL 工程，點選「管理系統>資料連結>資料連結管理」，選中某個資料夾後，建立資料連結。如下圖所示:
2）設定資料連結名稱（可同時修改資料連結所在目錄）。如下圖所示：
3）可根據資料源分類、支援形式、適配模組、資料源名稱篩選資料庫。如下圖所示：
4）驅動切換為「自訂」選擇 2.2 節上傳的驅動，然後輸入 2.3 節的連結資訊。如下圖所示：
各設定項說明如下表所示：
| 設定項 | 說明 |
|---|---|
| 認證方式 | 支援 Kerberos 認證，Kerberos 認證方式詳情可參見：数据连接 Kerberos 认证 |
| Kudu 地址 | 4.2.0.2 及之後版本支援該設定項，定時任務&管道任務中，若想寫入 Apache Impala，必須配置「Kudu地址」 指定 Kudu 的 Master 地址，格式為 ip:port，如果有多個 Master，用逗號隔開 |
5）點選「測試連結」，若連結成功則點選「儲存」，如下圖所示：
4. 使用資料源编辑
4.1 資料開發-定時任務
1）定時任務中，支援讀取和寫入 Apache Impala，若寫入 Apache Impala，需要在資料連結中配置「Kudu地址」。
2）定時任務中寫入 Apache Impala 時，目標表若選擇「已存在表」，會校驗該表是不是 Kudu 表，若不是，不允許寫入。
3）定時任務中寫入 Apache Impala 時，不支援設定邏輯主鍵，必須標記物理主鍵。
4）定時任務中支援讀寫 Kudu 分割槽表：
目標表為已存在表時，點選「查看分割槽鍵設定」按鈕，可查看具體的分割槽鍵設定。
目標表為自動建表時，配置物理主鍵後，支援配置分割槽鍵。如下圖所示：
各設定項說明如下表所示：
| 設定項 | 說明 | ||||||
|---|---|---|---|---|---|---|---|
| 分割槽方式 | 支援兩種：範圍分割槽、哈希分割槽 支援同時指定範圍分割槽和哈希分割槽，此時使用者只需要將兩個分割槽方式都設定即可 | ||||||
| 分割槽配置-範圍分割槽 |
| ||||||
| 分割槽配置-哈希分割槽 | 可配置多組哈希分區
|
分割槽鍵彈框配置完成後，將已選的分割槽欄位標記在欄位映射中。
4.2 管道任務
4.2.0.2 及之後版本，管道任務支援寫入 Impala 資料庫的 Kudu 表，目標表若選擇「已存在表」，會校驗該表是不是 Kudu 表，若不是，不允許寫入。
管道任務寫入 Kudu 表時，不支援無主鍵同步。
管道任務的目標表為「自動建表」時，支援配置分割槽鍵，配置分割槽鍵的介面與功能說明與定時任務配置分割槽鍵相同，請參見本文 4.1 節內容。
4.3 資料服務
4.2.0.2 及之後版本，資料服務支援發布 Kudu 資料。