历史版本2 :SelectDB資料源特性說明 返回文檔
編輯時間: 內容長度:图片数:目录数: 修改原因:


icon提示:
本文詳細說明 SelectDB 據源在 FDL 中的使用特性,包括使用限制以及在不同功能使用中的特殊情況,幫助使用者更好地理解和應用資料源。

寫入 SelectDB 資料庫時,目標表表名支援含中文。

目錄:

1. 定時任務编辑

1.1 讀取

「資料同步」、「參數指派」、「全局指派參數」、「資料轉換-DB表輸入」的資料來源支援:SelectDB。

「SQL腳本」的資料源中新增:SelectDB。

注:配置方式不支援「儲存程式」。

1.2 寫入-表類型

「資料同步」、「資料轉換-DB表匯出」的資料去向新增:SelectDB。

1)目標表為自動建表時,表類型說明:

表類型
邏輯說明
明細模型(Duplicate Key)

不支援設定物理主鍵

支援設定 NOT NULL

主鍵模型(Unique Key)- 讀時合併

必須設定物理主鍵

支援設定 NOT NULL

主鍵模型(Unique Key)- 寫時合併必須設定物理主鍵

支援設定 NOT NULL

聚合模型(Aggregate Key)僅展示,不可選

2)目標表為已存在表時,表類型說明:

表類型
邏輯說明
明細模型(Duplicate Key)

1)寫入方式選擇「直接將資料寫入目標表」時,不支援配置主鍵映射和主鍵衝突策

2)寫入方式不支援「基於標識欄位,追加/更新/刪除資料」

主鍵模型(Unique Key)- 寫時合併

寫入方式選擇直接將資料寫入目標表時,主鍵衝突策略只能選擇

  • 主鍵相同,改寫目標表的資料

不支援選擇:

  • 主鍵相同,忽略輸入源的資料

  • 主鍵相同,記錄為髒資料

主鍵模型(Unique Key)- 讀時合併
聚合模型(Aggregate Key)

1)寫入方式選擇直接將資料寫入目標表時,不支援配置主鍵映射以及主鍵衝突策略

2)寫入方式不支援「基於標識欄位,追加/更新/刪除資料」

1.3 寫入-分隔符

4.2.3.1 及之後版本,寫入 SelectDB 時,支援設定行列分隔符。如下圖所示:

SelectDB Enterprise 版本說明
2.0 及以上支援指定行列分隔符

注:行分隔符、列分隔符不能相同

列分隔符說明:

下拉框支援選項:自動處理、推薦分隔符(\x01)、英文逗號、列表符、英文分號、管道符、ASCII字元

列分隔符
說明
自動處理

優點:

若來源端資料包含 FDL 預設分隔符,會幫使用者做轉義取代(使用轉義符來轉義資料中的行列分隔符),確定資料寫入成功

缺點:

會損失一些寫入效能

推薦分隔符(\x01)

優點

大部分場景中,使用者資料中不會包含 \x01,避免寫入出錯的同時,保證效能

缺點:

若使用者資料中包含 \x01,FDL 不做轉義取代,寫入將報錯

英文逗號、列表符、英文分號、管道符、ASCII字元若使用推薦分隔符報錯,使用者根據實際資料,指定分隔符

行分隔符說明:支援設定CR+LF、LF、ASCII字元作為行分隔符

2.0 以下
「2.0及以上版本不同的是,列分隔符中沒有自動處理選項

1.4 寫入-資料分批

4.2.8.4 及之後版本,寫入 SelectDB 時,支援設定資料分批條件,只要滿足其中任何一個條件,就會立即生成一批資料並執行寫入操作。

  • 自動分批:一般情況下使用「自動分批」配置即可;

  • 自訂分批:當大批量資料寫入或高頻次寫入引發資料庫壓力過載問題,可以靈活調整分批寫入配置。

任務類型
支援的功能限制說明
定時任務

支援自動分批

支援自訂分批:單條批數、單批大小

13.png

單條批數限制範圍:0~9999999
單批大小限制範圍:0~999
單批累積時間限制範圍:100~1000000
實時任務

支援自動分批

支援自訂分批:單條批數、單批大小、單批累計時間

1.png

實時管道任務

支援自動分批

支援自訂分批:單條批數、單批大小、單批累計時間

1.png

注:若同步類型選擇「存量+增量同步」,單批累計時間設定僅對增量階段的資料生效

1.5 寫入-寫入間隔

4.2.8.4 及之後版本,寫入 SelectDB 時,支援設定寫入間隔,控制資料的寫入頻率。如下圖所示:

2. 實時管道任務编辑

1)作為管道寫入端時,不支援無主鍵同步功能。

2)作為管道寫入端,表類型說明:

表類型
邏輯說明
明細模型(Duplicate Key)此類型不支援自動建表
主鍵模型(Unique Key)- 讀時合併必須設定物理主鍵

支援設定 NOT NULL

主鍵模型(Unique Key)- 寫時合併

必須設定物理主鍵

支援設定 NOT NULL

聚合模型(Aggregate Key)此類型不支援自動建表

3)4.2.8.4 及之後版本,實時管道任務寫入 SelectDB 時,選擇去向中支援設定資料分批、寫入間隔。詳情參見本文 1.4、1.5 節。

3. 實時任務编辑

4.2.8.4 及之後版本,實時任務寫入 SelectDB 時,寫入方式支援設定資料分批、寫入間隔。詳情參見本文 1.4、1.5 節。

4. 資料服務&庫表管理&血緣分析编辑

5. 通用配置编辑