配置TRANSWARP INCEPTOR資料源

  • 文档创建者:Roxy
  • 历史版本:13
  • 最近更新:Nikozhan 于 2025-02-11
  • 1. 概述

    1.1 版本

    FineDataLink 版本功能變動
    4.0.24-
    4.1.3資料寫入星環 TRANSWARP INCEPTOR 資料庫時,支援建立、寫入分割槽
    4.2.1.4資料源名稱改為星環 inceptor

    1.2 應用場景

    企業使用星環 inceptor 資料庫儲存業務資料,希望 FineDataLink 定時任務的讀寫支援星環 inceptor 

    2. 準備工作

    2.1 前提條件

    詳情請參見:前提條件

    2.2 版本和驅動

    下載驅動,並將其上傳至 FineDataLink,如何上傳可參見:驅動管理

     支援的資料庫版本選擇驅動 驅動包 
    V4.6org.apache.hive.jdbc.HiveDriver

    4.6-inceptor-driver.jar


    V4.6、V4.9.2、V5.2.1、V6.0.2

    inceptor-sdk-transwarp-6.1.0-SNAPSHOT.jar

     

    2.3 收集連結資訊

    在連結資料庫之前,請收集以下資訊:

    • 資料庫所在伺服器的 IP 地址和埠號。

    • 資料庫的名稱。

    • 資料庫的帳號和密碼。

    3. 具體連結步驟

    1)管理者登入 FDL 工程,點選「管理系統>資料連結>資料連結管理」,選中某個資料夾後,建立資料連結。如下圖所示:

    2)設定資料連結名稱(可同時修改資料連結所在目錄)。如下圖所示:


    3)可根據資料源分類、支援形式、適配模組、資料源名稱篩選資料庫。如下圖所示:

    4)驅動選擇「自訂」,然後輸入 2.3 節的連結資訊。如下圖所示:

    星環支援 Kerberos 認證,Kerberos 認證方式詳情可參見:資料連結 Kerberos 認證。連結前請:

    • 檢查 /etc/hosts 中的機器名對應 IP 是否為局域網 IP。

    • 檢查 /etc/hostname 中機器名設定和 /etc/hosts 中是否配置一緻。

    • 檢查 FineDataLink 所在機器 hosts 配置的 IP+ 機器名是否正確。

    • 檢查本地連結時需要配置 /etc/hosts 檔案,新增遠端映射:IP+機器名,例如: 192.168.5.206  centos-phoenix 。

    Guardian Token 認證:當 Kerberos/LDAP 認證開啟時,也可以使用本方式,連結命令格式如下:

    更多連結方式詳情參見:連結方式

    $ beeline -u "jdbc:transwarp2://<server_ip/hostname>:<port>/<database_name>;guardianToken=<access_token>"

    5)如果 TRANSWARP INCEPTOR 作為資料寫入端時使用,則需要配置 HDFS 地址,配置說明如下:

    由於 inceptor 基於 hive 改寫,為了提高寫入速度,先建外表到HDFS,再裝載到目標表。

    配置項
    提示說明
    配置項解譯
    HDFS 地址填寫IP地址或主機名以及埠號

    Hadoop HDFS檔案系統處於活躍狀態的節點地址

    格式為 "hdfs://ip:port"。

    例如:hdfs://192.168.101.119:8020

    確定 HDFS 地址中 IP 和埠的方法請參見:確認HDFS地址中的IP和埠

    6)點選「測試連結」,若連結成功則「儲存」該連結。如下圖所示:

    4. 使用資料源

    可以在資料同步資料轉換中使用資料源進行資料讀取和寫入。

    4.1.3 及之後版本,資料寫入星環 TRANSWARP INCEPTOR 資料庫時,支援建立、寫入分割槽。詳情請參見:讀取、建立、寫入分割槽表

    更多 TRANSWARP INCEPTOR 資料庫相關內容詳情參見:TRANSWARP INCEPTOR資料源使用說明


    附件列表


    主题: 配置資料源
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!