1. 概述
1.1 版本
FineDataLink 版本 | 功能變動 |
---|---|
4.0.24 | - |
4.1.3 | 資料寫入星環 TRANSWARP INCEPTOR 資料庫時,支援建立、寫入分割槽表 |
4.2.1.4 | 資料源名稱改為星環 inceptor |
1.2 應用場景
企業使用星環 inceptor 資料庫儲存業務資料,希望 FineDataLink 定時任務的讀寫支援星環 inceptor 。
2. 準備工作
2.1 前提條件
詳情請參見:前提條件
2.2 版本和驅動
下載驅動,並將其上傳至 FineDataLink,如何上傳可參見:驅動管理
支援的資料庫版本 | 選擇驅動 | 驅動包 |
---|---|---|
V4.6 | org.apache.hive.jdbc.HiveDriver | |
V4.6、V4.9.2、V5.2.1、V6.0.2 | inceptor-sdk-transwarp-6.1.0-SNAPSHOT.jar
|
2.3 收集連結資訊
在連結資料庫之前,請收集以下資訊:
資料庫所在伺服器的 IP 地址和埠號。
資料庫的名稱。
資料庫的帳號和密碼。
3. 具體連結步驟
1)管理者登入 FDL 工程,點選「管理系統>資料連結>資料連結管理」,選中某個資料夾後,建立資料連結。如下圖所示:
2)設定資料連結名稱(可同時修改資料連結所在目錄)。如下圖所示:
3)可根據資料源分類、支援形式、適配模組、資料源名稱篩選資料庫。如下圖所示:
4)驅動選擇「自訂」,然後輸入 2.3 節的連結資訊。如下圖所示:
星環支援 Kerberos 認證,Kerberos 認證方式詳情可參見:資料連結 Kerberos 認證。連結前請:
檢查 /etc/hosts 中的機器名對應 IP 是否為局域網 IP。
檢查 /etc/hostname 中機器名設定和 /etc/hosts 中是否配置一緻。
檢查 FineDataLink 所在機器 hosts 配置的 IP+ 機器名是否正確。
檢查本地連結時需要配置 /etc/hosts 檔案,新增遠端映射:IP+機器名,例如: 192.168.5.206 centos-phoenix 。
Guardian Token 認證:當 Kerberos/LDAP 認證開啟時,也可以使用本方式,連結命令格式如下:
更多連結方式詳情參見:連結方式
5)如果 TRANSWARP INCEPTOR 作為資料寫入端時使用,則需要配置 HDFS 地址,配置說明如下:
由於 inceptor 基於 hive 改寫,為了提高寫入速度,先建外表到HDFS,再裝載到目標表。
配置項 | 提示說明 | 配置項解譯 |
---|---|---|
HDFS 地址 | 填寫IP地址或主機名以及埠號 | Hadoop HDFS檔案系統處於活躍狀態的節點地址 格式為 "hdfs://ip:port"。 例如:hdfs://192.168.101.119:8020 確定 HDFS 地址中 IP 和埠的方法請參見:確認HDFS地址中的IP和埠 |
6)點選「測試連結」,若連結成功則「儲存」該連結。如下圖所示:
4. 使用資料源
4.1.3 及之後版本,資料寫入星環 TRANSWARP INCEPTOR 資料庫時,支援建立、寫入分割槽表。詳情請參見:讀取、建立、寫入分割槽表
更多 TRANSWARP INCEPTOR 資料庫相關內容詳情參見:TRANSWARP INCEPTOR資料源使用說明