配置Apache Impala資料源

1.1 版本

1.2 功能簡介

FineDataLink 支援連結 Apache Impala，進行定時任務讀取和寫入、資料服務發佈、資料管道寫入

4.2.0.2 及之後版本，資料連結中新增「Kudu設定」：

• 定時任務支援讀寫 Kudu 表。

• 管道任務支援寫入 Kudu 表。

• 資料服務支援發布 Kudu 資料。

2.1 前提條件

1）詳情請參見：前提條件

2）4.2.0.2 及之後版本，若想讀取、寫入 Kudu 表，需要使用 1.7.0 及以上版本的 Kudu。

3）定時任務&管道任務中，若想寫入 Apache Impala，必須配置「Kudu地址」。

4）若需要使用 kudu 表，必須在%FineDataLink%/webapps/webroot/WEB-INF/lib 下放置兩個 JAR ，如下圖所示：

JAR.zip

2.2 版本和驅動

下載驅動，並將其上傳至 FineDataLink，如何上傳可參見：驅動管理 第 2 節

2.3 收集連結資訊

在連結資料庫之前，請收集以下資訊：

• 資料庫所在伺服器的 IP 地址和埠號。

• 資料庫的名稱。

• 若是帳號密碼認證，需要收集帳號和密碼；若是 Kerberos 認證，需要收集使用者端 principal 和 keytab 金鑰路徑。

• 4.2.0.2 及之後版本，若需要讀取或寫入 Kudu 表，需要準備 Kudu 地址。

2.4 具體連結步驟

建立資料連結步驟請參見：建立並管理資料源

需注意：

配置資料連結時，驅動需要切換為「自訂」，換為本文 2.2 節的驅動 。

各設定項說明如下表所示：

注：4.2.17.5 及之後版本，「連結池設定」中新增「初始化SQL」設定項，可配置初始化 SQL 語句；詳情請參見：建立並管理資料源

注：kudu 不支援修改欄位類型。

3.1 資料開發-定時任務

1）定時任務中，支援讀取和寫入 Apache Impala，若寫入 Apache Impala，需要在資料連結中配置「Kudu地址」。

注：寫入 Kudu 表時，由於 Kudu 表是不支援 truncate table 文法的，因此在寫入方式為「清空目標表，再寫入資料」且清表方式為 TRUNCATE 時，處理邏輯為：先執行刪表後建表，再寫入資料，會有刪除後無法重建立表的風險，為了避免無法重建，fanruan.log 日誌裏面記錄了建表 SQL 語句。

2）定時任務中寫入 Apache Impala 時，目標表若選擇「已存在表」，會校驗該表是不是 Kudu 表，若不是，不允許寫入。

3）定時任務中寫入 Apache Impala 時，不支援設定邏輯主鍵，必須標記物理主鍵。

4）定時任務中支援讀寫 Kudu 分割槽表：

• 目標表為已存在表時，點選「查看分割槽鍵設定」按鈕，可查看具體的分割槽鍵設定。
  

• 目標表為自動建表時，配置物理主鍵後，支援配置分割槽鍵。如下圖所示：

各設定項說明如下表所示：

分割槽鍵彈框配置完成後，將已選的分割槽欄位標記在欄位映射中。

3.2 管道任務

4.2.0.2 及之後版本，管道任務支援寫入 Impala 資料庫的 Kudu 表，目標表若選擇「已存在表」，會校驗該表是不是 Kudu 表，若不是，不允許寫入。

管道任務寫入 Kudu 表時，不支援無主鍵同步。

管道任務的目標表為「自動建表」時，支援配置分割槽鍵，配置分割槽鍵的介面與功能說明與定時任務配置分割槽鍵相同，請參見本文 3.1 節內容。

3.3 資料服務

4.2.0.2 及之後版本，資料服務支援發布 Kudu 資料。

1）問題描述：

在使用資料連結運作定時任務時，運作日誌出現報錯：建表 table owner must not be null or empty 的異常，如下圖所示：

解決方案：

需要在建立資料連結位置  URL 後新增參數：;UseSasl=0;AuthMech=0;UID=impala

2）問題描述：

在資料連結時報錯：ImpalaJDBCDRIVER 500051。

解決方案：

需要在建立資料連結位置  URL 後新增參數：;UseSasl=0;AuthMech=3;UID=impala;PWD=

3）問題描述：

在運作定時任務（使用 kudu 表）時出現報錯，有如下埠沒有放開：

解決方案：

impala-kudu 除了三個 master 節點外，還有 5 個 tserver 節點，也需要映射。供遠端 rpc 呼叫，所以要將這 5 個埠：7050、7150、7250、7350、7450映射到外部。