最新历史版本 :配置TRANSWARP INCEPTOR資料源 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

FineDataLink 版本功能變動
4.0.24-
4.1.3資料寫入星環 TRANSWARP INCEPTOR 資料庫時,支援建立、寫入分割槽
4.2.1.4資料源名稱改為星環 inceptor

1.2 應用場景

企業使用星環 inceptor 資料庫儲存業務資料,希望 FineDataLink 定時任務的讀寫支援星環 inceptor 

2. 準備工作编辑

2.1 前提條件

詳情請參見:前提條件

2.2 版本和驅動

下載驅動,並將其上傳至 FineDataLink,如何上傳可參見:驅動管理

 支援的資料庫版本選擇驅動 驅動包 
V4.6org.apache.hive.jdbc.HiveDriver

4.6-inceptor-driver.jar


V4.6、V4.9.2、V5.2.1、V6.0.2

inceptor-sdk-transwarp-6.1.0-SNAPSHOT.jar

 

2.3 收集連結資訊

在連結資料庫之前,請收集以下資訊:

  • 資料庫所在伺服器的 IP 地址和埠號。

  • 資料庫的名稱。

  • 資料庫的帳號和密碼。

3. 具體連結步驟编辑

1)管理者登入 FDL 工程,點選「管理系統>資料連結>資料連結管理」,選中某個資料夾後,建立資料連結。如下圖所示:

2)設定資料連結名稱(可同時修改資料連結所在目錄)。如下圖所示:


3)可根據資料源分類、支援形式、適配模組、資料源名稱篩選資料庫。如下圖所示:

4)驅動選擇「自訂」,然後輸入 2.3 節的連結資訊。如下圖所示:

星環支援 Kerberos 認證,Kerberos 認證方式詳情可參見:資料連結 Kerberos 認證。連結前請:

  • 檢查 /etc/hosts 中的機器名對應 IP 是否為局域網 IP。

  • 檢查 /etc/hostname 中機器名設定和 /etc/hosts 中是否配置一緻。

  • 檢查 FineDataLink 所在機器 hosts 配置的 IP+ 機器名是否正確。

  • 檢查本地連結時需要配置 /etc/hosts 檔案,新增遠端映射:IP+機器名,例如: 192.168.5.206  centos-phoenix 。

Guardian Token 認證:當 Kerberos/LDAP 認證開啟時,也可以使用本方式,連結命令格式如下:

更多連結方式詳情參見:連結方式

$ beeline -u "jdbc:transwarp2://<server_ip/hostname>:<port>/<database_name>;guardianToken=<access_token>"

5)如果 TRANSWARP INCEPTOR 作為資料寫入端時使用,則需要配置 HDFS 地址,配置說明如下:

由於 inceptor 基於 hive 改寫,為了提高寫入速度,先建外表到HDFS,再裝載到目標表。

配置項
提示說明
配置項解譯
HDFS 地址填寫IP地址或主機名以及埠號

Hadoop HDFS檔案系統處於活躍狀態的節點地址

格式為 "hdfs://ip:port"。

例如:hdfs://192.168.101.119:8020

確定 HDFS 地址中 IP 和埠的方法請參見:確認HDFS地址中的IP和埠

6)點選「測試連結」,若連結成功則「儲存」該連結。如下圖所示:

4. 使用資料源编辑

可以在資料同步資料轉換中使用資料源進行資料讀取和寫入。

4.1.3 及之後版本,資料寫入星環 TRANSWARP INCEPTOR 資料庫時,支援建立、寫入分割槽。詳情請參見:讀取、建立、寫入分割槽表

更多 TRANSWARP INCEPTOR 資料庫相關內容詳情參見:TRANSWARP INCEPTOR資料源使用說明