配置SeaboxMPP資料源

  • 文档创建者:Wendy123456
  • 历史版本:14
  • 最近更新:Nikozhan 于 2025-02-12
  • 1. 概述

    1.1 版本

     FineDataLink 版本功能變動
    4.0.28資料管道任務中支援寫入至 SeaboxMPP 資料庫
    4.1.5.5定時任務中支援讀取和寫入 SeaboxMPP 資料庫

    1.2 功能簡介

    FineDataLink 支援連結 SeaboxMPP ,進行管道任務寫入、定時任務讀寫。

    2. 準備工作

    2.1 前提條件

    詳情請參見:前提條件

    2.2 版本和驅動

    下載驅動,並將其上傳至 FineDataLink ,如何上傳可參見:驅動管理 第 2 節。

    支援的資料庫版本
    驅動下載

    SeaboxMPP 21.0.3.398

    postgresql-42.1.4.jar

    2.3 收集連結資訊

    在連結資料庫之前,請收集以下資訊:

    • 資料庫所在伺服器的 IP 地址和埠號。

    • 資料庫的帳號和密碼。

    3. 具體連結步驟

    1)以管理者身分登入 FineDataLink ,點選「管理系統>資料連結>資料連結管理」,選中某個資料夾後,建立資料連結。如下圖所示:

    2)設定資料連結名稱(可同時修改資料連結所在目錄)。如下圖所示:

    3)可根據資料源分類、支援形式、適配模組、資料源名稱篩選資料庫。如下圖所示:

    4)進入資料連結配置頁面,輸入 2.3 節連結的相關資訊,如下圖所示:

    注:使用者可修改連結池設定,詳細請參見 連結池設定

    5)點選「測試連結」,若連結成功則「儲存」該連結。如下圖所示:

    4. 使用資料源

    4.1 管道任務

    4.0.28 及之後版本,資料管道任務中支援寫入至 SeaboxMPP 資料庫。管道任務配置請參見:資料管道概述

    4.2 定時任務

    4.1.5.5 及之後版本,定時任務中支援讀取和寫入 SeaboxMPP 資料庫。

    寫入 SeaboxMPP 資料庫時,裝載方式可選擇 COPY 裝載和普通裝載。如下圖所示:

    裝載方式說明
    普通裝載

    預設為普通裝

    以 JDBC 做串行裝載

    COPY裝載

    使用前提:

    如選擇 COPY 裝載方式,需要確定目標資料庫和使用者滿足以下條件:

    • 需要在目標資料庫先建立 fdl_temp 模式用來存放臨時表

    • 需要使用者有建表、建指定模式的權限(如果已由 DBA 建好模式並賦權,資料庫使用者可不需要建schema的權限

    運作原理:

    選擇 COPY 裝載方式時,根據寫入方式的不同,會出現不同的裝載效果

    寫入方式說明

    直接將資料寫入目標表

    目標表無主鍵且未配置「主鍵映射」

    使用 COPY 裝載方式

    直接將資料寫入目標表

    目標表有主鍵或配置了「主鍵映射」

    支援三種主鍵沖突策略:

    • 主鍵相同,忽略輸入源的資料

    • 主鍵相同,記錄為髒資料

    • 主鍵相同,改寫目標表的資料

    採用COPY裝載方式+普通裝載方式

    • 每批資料優先嘗試使用「COPY裝載方式」寫入

    • COPY 裝載方式失敗後,會再嘗試將該批資料使用「普通裝載」寫入,寫入異常將統計進入髒資料;當前這一批資料寫完後,下一批繼續優先嘗試使用 COPY 進行裝載

    清空目標表,再寫入資料

    採用COPY裝載方式+普通裝載方

    • 每批資料優先嘗試使用「COPY裝載方式」寫入

    • COPY 裝載方式失敗後,會再嘗試將該批資料使用「普通裝載」寫入,寫入異常將統計進入髒資料;當前這一批資料寫完後,下一批繼續優先嘗試使用 COPY 進行裝載




    附件列表


    主题: 配置資料源
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!