配置SeaboxMPP資料源

  • 文檔創建者:Wendy123456
  • 編輯次數:16
  • 最近更新:帆软用户UT9OHLQhgP 于 2026-09-21
  • 1. 概述

    1.1 版本

     FineDataLink 版本功能變動
    4.0.28實時管道任務中支援寫入至 SeaboxMPP 資料庫
    4.1.5.5定時任務中支援讀取和寫入 SeaboxMPP 資料庫
    4.2.22.3&5.0.15.3SeaboxMPP 作為寫入端資料源時,支援並行裝載

    1.2 功能簡介

    FineDataLink 支援連結 SeaboxMPP ,適配:實時管道任務寫入、定時任務讀寫。

    2. 配置須知

    定時任務中,若使用者需要使用 SeaboxMPP 作為寫入端資料源時,支援三種裝載方式:並行裝載、COPY 裝載、普通裝載。三種裝載方式差別參見本文第 4 節。

    2.1 並行裝載方式賦權

    使用 SeaboxMPP 作為目標表時,若使用並行裝載模式,則需要進行權限指定。

    1)scfs_temp 模式下的建表和已有表的讀取權限。

    注:若不想設定已有表的讀取權限,也可以將該模式下 ext_scfs_* 和 staging_scfs_* 表刪除,需要先將使用並行裝載的任務關停,移除後只需要有 scfs_temp 模式下建表權限即可。

    GRANT USAGE,CREATE ON SCHEMA scfs_temp TO trans_user ;

    2)建立外部表的權限。

    alter role trans_user with createexttable;

    3)目標表的讀取權限,如果要自動建表的話還需要對應庫的建表權限。

    ALTER DEFAULT PRIVILEGES IN SCHEMA scfs_temp GRANT SELECT, INSERT, UPDATE, DELETE, REFERENCES, TRIGGER ON TABLES TO trans_user ;

    2.2確認資料庫資料類型

    並行裝載方式不可同步二進制類型欄位,如果選擇了此類欄位進行裝載,則在裝載時報錯(直接丟擲資料庫裝載時報錯),二進制欄位只能透過 JDBC 方式進行裝載,也就是使用本文第三章中的資料連結。

    2.3 放置 scfs 檔案

    scfs 官方預設埠為 8080,若與 FDL 埠衝突,請聯絡技術支援協助。

    從 SeaboxMPP 安裝介質中獲取 scfs 檔案及相關依賴:

    • scfs 檔案存放位置:%FineDataLink%\webapps\webroot\WEB-INF\assist

    • 相關依賴存放位置:%FineDataLink%\webapps\webroot\WEB-INF\assist\lib

    3. 配置資料連結

    3.1 前提條件

    詳情請參見:前提條件

    3.2 版本和驅動

    下載驅動,並將其上傳至 FineDataLink ,如何上傳可參見:驅動管理 

    支援的資料庫版本
    驅動下載

    SeaboxMPP 21.0.3.398

    postgresql-42.1.4.jar

    3.3 收集連結資訊

    在連結資料庫之前,請收集以下資訊:

    • 資料庫所在伺服器的 IP 地址和埠號。

    • 資料庫的帳號和密碼。

    3.4 具體連結步驟

    建立資料連結步驟請參見:建立並管理資料源

    需注意:

    配置資料連結時,驅動需要切換為「自訂」,換為本文 2.2 節的驅動。



    若需要使用並行裝載方式寫入 SeaboxMPP,需要配置「並行裝載設定」項。如下圖所示:


    配置項說明
    伺服器地址-節點1scfs 檔案服務地址,配置能被 SeaboxMPP 執行節點(executor)存取到的 FDL 工程 IP

    當資料平台所在環境為叢集環境時,展示多個配置項可供選擇

    複用臨時表是否複用臨時表(複用臨時表在高頻裝載時,可有效降低系統表膨脹速度)

    勾選後,實際運作時,將自動嘗試建立專用臨時模式「scfs_temp」並使用

    臨時檔案條數限制

    預設值:100000;範圍:10000~100000000;必填

    落盤的臨時檔案條數;配置值可根據使用者環境的磁碟大小、網路速率調整

    臨時檔案大小限制(MB)預設值:1024;範圍:10~102400;必填

    落盤的檔案大小限制;滿足條數與檔案大小任一限制時,停止資料檔案寫入操作,立即進行檔案裝載

    4. 資料源特性說明

    4.1 實時管道任務

    4.0.28 及之後版本,實時管道任務中支援寫入至 SeaboxMPP 資料庫。實時管道任務配置請參見:實時管道任務概述

    寫入 SeaboxMPP 時,裝載方式支援 COPY 裝載。4.2.22.3 及之後版本,支援「並行裝載」方式。

    4.2 資料開發-定時任務

    4.1.5.5 及之後版本,定時任務中支援讀取和寫入 SeaboxMPP 資料庫。

    寫入 SeaboxMPP 時,裝載方式可選擇 COPY 裝載和普通裝載。4.2.22.3 及之後版本,支援「並行裝載」方式。



    裝載方式說明
    並行裝載

    1)配置資料連結時需按照配置「並行裝載設定」,詳情參見本文第 2、3 節

    2)二進制類型欄位不支援在選擇「並行裝載」的時候同步

    3)主鍵衝突策略可選擇:「主鍵相同,忽略輸入源的資料」、「主鍵相同,記錄為髒資料」、「主鍵相同,改寫目標表的資料」

    4)寫入方式支援:「直接將資料寫入目標表」、「清空目標表,再寫入資料」、「基於標識欄位,追加/更新/刪除資料」

    普通裝載

    預設為普通裝載

    以 JDBC 做串行裝載

    COPY裝載

    使用前提:

    如選擇 COPY 裝載方式,需要確定目標資料庫和使用者滿足以下條件:

    • 需要在目標資料庫先建立 fdl_temp 模式用來存放臨時表

    • 需要使用者有建表、建指定模式的權限(如果已由 DBA 建好模式並賦權,資料庫使用者可不需要建 schema 的權限)

    運作原理:

    選擇 COPY 裝載方式時,根據寫入方式的不同,會出現不同的裝載效果

    寫入方式說明

    直接將資料寫入目標表

    目標表無主鍵且未配置「主鍵映射」

    使用 COPY 裝載方式

    直接將資料寫入目標表

    目標表有主鍵或配置了「主鍵映射」

    支援三種主鍵衝突策略:

    • 主鍵相同,忽略輸入源的資料

    • 主鍵相同,記錄為髒資料

    • 主鍵相同,改寫目標表的資料

    採用COPY裝載方式+普通裝載方式

    • 每批資料優先嚐試使用「COPY裝載方式」寫入

    • COPY 裝載方式失敗後,會再嘗試將該批資料使用「普通裝載」寫入,寫入異常將統計進入髒資料;當前這一批資料寫完後,下一批繼續優先嚐試使用 COPY 進行裝載

    清空目標表,再寫入資料

    採用COPY裝載方式+普通裝載方式

    • 每批資料優先嚐試使用「COPY裝載方式」寫入

    • COPY 裝載方式失敗後,會再嘗試將該批資料使用「普通裝載」寫入,寫入異常將統計進入髒資料;當前這一批資料寫完後,下一批繼續優先嚐試使用 COPY 進行裝載

    基於標識欄位,追加/更新/刪除資料


    附件列表


    主題: 配置資料源
    已經是第一篇
    已經是最後一篇
    • 有幫助
    • 沒幫助
    • 只是瀏覽
    中文(繁體)

    滑鼠選中內容,快速回饋問題

    滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。

    不再提示

    10s後關閉

    獲取幫助
    線上支援
    獲取專業技術支援,快速幫助您解決問題
    工作日9:00-12:00,13:30-17:30在线
    頁面反饋
    針對當前網頁的建議、問題反饋
    售前咨詢
    業務咨詢
    電話:0933-790886或 0989-092892
    郵箱:taiwan@fanruan.com
    頁面反饋
    *問題分類
    不能為空
    問題描述
    0/1000
    不能為空

    反馈已提交

    网络繁忙