FineDataLink 支援連結 SeaboxMPP ,適配:實時管道任務寫入、定時任務讀寫。
定時任務中,若使用者需要使用 SeaboxMPP 作為寫入端資料源時,支援三種裝載方式:並行裝載、COPY 裝載、普通裝載。三種裝載方式差別參見本文第 4 節。
使用 SeaboxMPP 作為目標表時,若使用並行裝載模式,則需要進行權限指定。
1)scfs_temp 模式下的建表和已有表的讀取權限。
注:若不想設定已有表的讀取權限,也可以將該模式下 ext_scfs_* 和 staging_scfs_* 表刪除,需要先將使用並行裝載的任務關停,移除後只需要有 scfs_temp 模式下建表權限即可。
GRANT USAGE,CREATE ON SCHEMA scfs_temp TO trans_user ;
2)建立外部表的權限。
alter role trans_user with createexttable;
3)目標表的讀取權限,如果要自動建表的話還需要對應庫的建表權限。
ALTER DEFAULT PRIVILEGES IN SCHEMA scfs_temp GRANT SELECT, INSERT, UPDATE, DELETE, REFERENCES, TRIGGER ON TABLES TO trans_user ;
並行裝載方式不可同步二進制類型欄位,如果選擇了此類欄位進行裝載,則在裝載時報錯(直接丟擲資料庫裝載時報錯),二進制欄位只能透過 JDBC 方式進行裝載,也就是使用本文第三章中的資料連結。
scfs 官方預設埠為 8080,若與 FDL 埠衝突,請聯絡技術支援協助。
從 SeaboxMPP 安裝介質中獲取 scfs 檔案及相關依賴:
scfs 檔案存放位置:%FineDataLink%\webapps\webroot\WEB-INF\assist
相關依賴存放位置:%FineDataLink%\webapps\webroot\WEB-INF\assist\lib
詳情請參見:前提條件
下載驅動,並將其上傳至 FineDataLink ,如何上傳可參見:驅動管理
SeaboxMPP 21.0.3.398
在連結資料庫之前,請收集以下資訊:
資料庫所在伺服器的 IP 地址和埠號。
資料庫的帳號和密碼。
建立資料連結步驟請參見:建立並管理資料源
需注意:
配置資料連結時,驅動需要切換為「自訂」,換為本文 2.2 節的驅動。
若需要使用並行裝載方式寫入 SeaboxMPP,需要配置「並行裝載設定」項。如下圖所示:
當資料平台所在環境為叢集環境時,展示多個配置項可供選擇
勾選後,實際運作時,將自動嘗試建立專用臨時模式「scfs_temp」並使用
預設值:100000;範圍:10000~100000000;必填
落盤的臨時檔案條數;配置值可根據使用者環境的磁碟大小、網路速率調整
落盤的檔案大小限制;滿足條數與檔案大小任一限制時,停止資料檔案寫入操作,立即進行檔案裝載
4.0.28 及之後版本,實時管道任務中支援寫入至 SeaboxMPP 資料庫。實時管道任務配置請參見:實時管道任務概述
寫入 SeaboxMPP 時,裝載方式支援 COPY 裝載。4.2.22.3 及之後版本,支援「並行裝載」方式。
4.1.5.5 及之後版本,定時任務中支援讀取和寫入 SeaboxMPP 資料庫。
寫入 SeaboxMPP 時,裝載方式可選擇 COPY 裝載和普通裝載。4.2.22.3 及之後版本,支援「並行裝載」方式。
1)配置資料連結時需按照配置「並行裝載設定」,詳情參見本文第 2、3 節
2)二進制類型欄位不支援在選擇「並行裝載」的時候同步
3)主鍵衝突策略可選擇:「主鍵相同,忽略輸入源的資料」、「主鍵相同,記錄為髒資料」、「主鍵相同,改寫目標表的資料」
4)寫入方式支援:「直接將資料寫入目標表」、「清空目標表,再寫入資料」、「基於標識欄位,追加/更新/刪除資料」
預設為普通裝載
以 JDBC 做串行裝載
使用前提:
如選擇 COPY 裝載方式,需要確定目標資料庫和使用者滿足以下條件:
需要在目標資料庫先建立 fdl_temp 模式用來存放臨時表
需要使用者有建表、建指定模式的權限(如果已由 DBA 建好模式並賦權,資料庫使用者可不需要建 schema 的權限)
運作原理:
選擇 COPY 裝載方式時,根據寫入方式的不同,會出現不同的裝載效果
直接將資料寫入目標表
目標表無主鍵且未配置「主鍵映射」
使用 COPY 裝載方式
目標表有主鍵或配置了「主鍵映射」
支援三種主鍵衝突策略:
主鍵相同,忽略輸入源的資料
主鍵相同,記錄為髒資料
主鍵相同,改寫目標表的資料
採用COPY裝載方式+普通裝載方式
每批資料優先嚐試使用「COPY裝載方式」寫入
COPY 裝載方式失敗後,會再嘗試將該批資料使用「普通裝載」寫入,寫入異常將統計進入髒資料;當前這一批資料寫完後,下一批繼續優先嚐試使用 COPY 進行裝載
滑鼠選中內容,快速回饋問題
滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。
不再提示
10s後關閉
反馈已提交
网络繁忙