提示:1. 通用限制
1）FineDataLink 支援連結 Doris ，進行定時任務讀寫、管道任務寫入、作為資料服務資料發佈源、實時任務寫入。
2）配置 Doris 資料連結時，輸入使用者需要有 admin 權限，才能保證 FDL 功能的正常使用。
3）寫入 Doris 資料庫時，目標表表名、欄位名中不能含中文。
2. 資料開發-定時任務
2.1 資料來源
資料來源寫入的時候，空字串要用一對單引號，不能用雙引號。
4.2.7.3 版本及之後，定時任務支援讀取 Doris 資料庫的分割槽表。
2.2 寫入分割槽表
1）4.2.7.3 及之後版本，定時任務支援寫入 Doris 資料庫的分割槽表。如下圖所示：
2）目標表若為自動建表，支援選取目標表裏的某些欄位作為分割槽鍵。如下圖所示：
| 配置項 | 說明 |
|---|---|
| 分割槽方式 |
|
| 分割槽欄位 | 選擇映射已有欄位作為分割槽欄位。 不同分割槽方式可選的分割槽欄位如下：
|
| 分割槽配置 | 進行分割槽配置，支援新增多個分區 Doris 2.0 及以上版本的分割槽欄位為「數值/日期時間/日期」類型時，支援「自動分割槽間隔」 |
2.3 自動建表-表類型
若資料去向選擇了「Doris」資料源，則設定去向端表時，需要選擇表類型，如下表所示：
注：4.1.10.1 及之後版本，Doris 作為目標端&目標表的類型為自動建表時，自動將來源端主鍵標記為自動建表的主鍵。
| 表類型 | 建表時設定項說明 |
|---|---|
| 明細模型（Duplicate Key） | 不支援設定物理主鍵 支援設定 NOT NULL 4.1.11.5 及之後的版本資料來源的配置方式為「選表」時，目標表選擇「自動建表」欄位映射同步來源表的非空資訊。 |
| 主鍵模型（Unique Key）- 讀時合併 | 必須設定物理主鍵 支援設定 NOT NULL |
| 主鍵模型（Unique Key）- 寫時合併 | 必須設定物理主鍵 支援設定 NOT NULL Doris 1.2.0 及以上版本支援使用 |
| 聚合模型（Aggregate Key） | 此類型不支援自動建表 |
2.4 已存在表-表類型
若資料去向選擇了「Doris」資料源，則設定去向端表時，需要選擇表類型，後續設定寫入方式時有一定的限制，如下表所示：
| 表類型 | 寫入限制 |
|---|---|
| 明細模型（Duplicate Key） | 1）寫入方式選擇「直接將資料寫入目標表」時，不支援配置主鍵映射和主鍵衝突策略 2）寫入方式不支援「基於標識欄位，追加/更新/刪除資料」 |
主鍵模型（Unique Key）- 寫時合併 | 當選擇「直接將資料寫入目標表」時，主鍵衝突策略只能選擇： 主鍵相同，改寫目標表的資料 不支援：
|
主鍵模型（Unique Key）- 讀時合併 | |
| 聚合模型（Aggregate Key） | 1）當選擇"直接將資料寫入目標表"時，不支援： 配置主鍵映射以及主鍵衝突策略 2）不支援選擇"基於標識欄位，追加/更新/刪除資料"； |
2.5 分隔符說明
| FDL 版本 | Doris版本 | 說明 | ||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 4.1.10.1之前 | - | 寫入 Doris 時，FDL 使用預設分隔符分割行列資料，若待寫入資料中包含預設分隔符，寫入將報錯 範例說明： 待寫入資料：
若 FDL 使用, 作為分隔符，寫入時，A 列的 1,1 將會被，分割拆開寫入，寫入出錯 建議： 使用者可以先檢查源端是否同步了二進制欄位，將二進制欄位取消同步，再使用公式將分隔符進行取代（例如取代為空格） | ||||||||
| 4.1.10.1及之後-4.2.3.1 | 2.0以下 | |||||||||
| 2.0及以上 | 若來源端資料包含 FDL 預設分隔符，會幫使用者做轉義取代（使用轉義符來轉義資料中的行列分隔符），使資料寫入成功 | |||||||||
| 4.2.3.1 及之後 | 2.0及以上 | 支援指定行列分隔符。如下圖所示： 注：行列分隔符不能相同
列分隔符說明： 下拉框支援選項：自動處理、推薦分隔符（\x01）、英文逗號、列表符、英文分號、管道符、ASCII字元
行分隔符說明：支援設定CR+LF、LF、ASCII字元作為行分隔符 4.2.4.3 版本「行分隔符」增加「推薦分隔符」為\x02，同時預設選中，保證取代為行分隔符後低版本 Doris 資料正常。 「行分隔符」其實是\x02 ，取代為換行符後，對於低版本 Doris，在沒有正確處理「列分隔符」的情況下，會造成資料異常，因此增加該功能。
| ||||||||
| 2.0以下 | 與「2.0及以上版本」不同的是，列分隔符中沒有「自動處理」選項 |
2.6 特殊場景說明
寫入到 Doris 時，寫入方式選擇直接「直接將資料寫入目標表」，設定主鍵衝突則改寫，執行操作如下：
1）源表的所有欄位先同步到目標表，比如欄位 a 同步到目標表欄位 a，任務運作後，此時目標表欄位 a 有資料。
2）在欄位映射裏把欄位 a 的映射關係取消，即代表着不同步欄位 a 。
運作任務後將發現，目標表欄位 a 的值都為 NULL（該問題等待產品後續解決）。
3. 資料管道
3.1 目標表為自動建表
1）若資料去向選擇了「Doris」資料源，則設定去向端表時，需要選擇表類型，如下表所示：
| 表類型 | 建表時設定項說明 |
|---|---|
| 明細模型（Duplicate Key） | 僅展示，不可選 |
| 主鍵模型（Unique Key）- 讀時合併 | 必須設定物理主鍵 支援設定 NOT NULL |
| 主鍵模型（Unique Key）- 寫時合併 | 必須設定物理主鍵 支援設定 NOT NULL Doris 1.2.0 及以上版本支援使用； |
| 聚合模型（Aggregate Key） | 僅展示，不可選 |
2）4.2.7.3 及之後版本，管道任務中目標表若為自動建表，支援選取目標表裏的某些欄位作為分割槽鍵；目標表若為已存在表，支援寫入分割槽表。
詳細說明可參考本文 2.2 節。
3.2 DDL 同步說明
4.1.10.1 之前版本，Doris 作為目標端時，不支援 DDL 同步；4.1.10.1 及之後版本，Doris 作為目標端時，支援 DDL 同步。
Doris 作為目標端，源端修改列類型時，DDL 支援的修改操作如下：
TINYINT/SMALLINT/INT/BIGINT/LARGEINT/FLOAT/DOUBLE 類型向範圍更大的數字體別轉換
TINTINT/SMALLINT/INT/BIGINT/LARGEINT/FLOAT/DOUBLE/DECIMAL 轉換成 VARCHAR
VARCHAR 支援修改最大長度
VARCHAR/CHAR 轉換成 TINTINT/SMALLINT/INT/BIGINT/LARGEINT/FLOAT/DOUBLE
VARCHAR/CHAR 轉換成 DATE (目前支援"%Y-%m-%d", "%y-%m-%d", "%Y%m%d", "%y%m%d", "%Y/%m/%d, "%y/%m/%d"六種格式化格式)
DATETIME 轉換成 DATE（僅保留年-月-日資訊, 例如: 2019-12-09 21:47:05 <--> 2019-12-09）
DATE 轉換成 DATETIME（時分秒自動補零， 例如: 2019-12-09 <--> 2019-12-09 00:00:00）
FLOAT 轉換成 DOUBLE
INT 轉換成 DATE (如果 INT 類型資料不合法則轉換失敗，原始資料不變)
除 DATE 與 DATETIME 以外都可以轉換成 STRING，但是 STRING 不能轉換任何其他類型。
對於支援範圍外的欄位修改操作，資料庫會報錯，會列印 DDL 應用失敗的日誌。
3.3 同步時標記時間戳說明
4.1.7.2 之前版本，資料管道實時資料不支援「同步時標記時間戳」功能；FDL 為 4.1.7.2 及之後版本 & Doris 版本為 2.0 之後，支援「同步時標記時間戳」功能。
3.4 主鍵說明
不支援邏輯主鍵。
3.5 分隔符說明
| FDL 版本 | Doris版本 | 說明 | ||||||
|---|---|---|---|---|---|---|---|---|
| 4.1.10.1之前 | - | 寫入 Doris 時，FDL 使用預設分隔符分割行列資料，若待寫入資料中包含預設分隔符，寫入將報錯 範例說明： 待寫入資料：
若 FDL 使用, 作為分隔符，寫入時，A 列的 1,1 將會被，分割拆開寫入，寫入出錯 建議： 使用者可以先檢查源端是否同步了二進制欄位，將二進制欄位取消同步，再使用公式將分隔符進行取代（例如取代為空格） | ||||||
| 4.1.10.1及之後 | 2.0以下 | |||||||
| 2.0及以上 | 若來源端資料包含 FDL 預設分隔符，會幫使用者做轉義取代（使用轉義符來轉義資料中的行列分隔符），使資料寫入成功 |
4. 資料開發-實時任務
當 DB表输出 選擇 doris 作為資料去向：
| 選擇匯出表類型 | 說明 |
|---|---|
| 已存在表 | 表類型無限制 表類型如果為明細模型：
5.0.0.4 及之後版本，當前任務中存在產生更新流的算子&寫入 Doris 時，不支援無主鍵同步；會產生更新流的算子：CDC輸入、分組匯總、資料聯動（多個實時資料源進行聯動）
|
| 自動建表 | 4.2.1.4 之前版本，表類型只能選擇主鍵模型；4.2.1.4 及之後版本，表類型可以選擇明細模型 欄位映射處，可以選擇表類型為明細模型，當選擇明細模型時：
5.0.0.4 及之後版本，當前任務中存在產生更新流的算子&寫入 Doris 時，不支援無主鍵同步；會產生更新流的算子：CDC輸入、分組匯總、資料聯動（多個實時資料源進行聯動）
|
5. 資料服務
4.2.7.3 及之後版本，資料服務支援選擇 Doris 資料庫的分割槽表。
上一篇：StarRocks資料源使用說明