配置Doris資料源- FineDatalink 幫助文檔

文檔創建者：Roxy

編輯次數：28

最近更新：帆软用户UT9OHLQhgP 于 2026-10-29

1. 概述

1.1 版本

FineDataLink 版本	功能變更
4.0.23	定時任務輸入匯出支援 Doris 管道任務資料匯出支援 Doris
4.2.17.1	定時管道任務支援寫入 Doris
4.2.17.5	寫入 Doris 支援中文表名和中文欄位名定時管道任務中，全量有主鍵子表的寫入邏輯調整；詳情請參見：Doris資料源特性說明
4.2.23.2&5.0.16.2	實時管道任務中，若目標表為「已存在表」，僅支援選擇「主鍵模型」類型的表

1.2 歷史版本

FineDataLink 版本	功能變更
4.0.27	寫入到 Doris 採用 stream load 匯入方式，即把資料匯出為 CSV 格式，然後再 load 進資料庫裏但是如果來源端的欄位或欄位名裏存在換列，將其轉化為CSV的時候，會被識別為多個欄位或多個值，寫入時出現問題，因此將換列符從/n /t 改成\01 \02 字元
4.1	資料服務支援 Doris
4.1.3	Doris 資料源作為寫入端，支援自動建表
4.1.7.2	2.0 版本之後的 Doris，在管道任務中，支援「同步時標記時間戳」功能
4.1.10.1	管道任務中，Doris 作為目標端時，支援 DDL 定時任務中，Doris 作為目標端&目標表的類型為自動建表時，自動將來源端主鍵標記為自動建表的主鍵定時任務&管道任務中，寫入 2.0 及以上版本的 Doris ，若來源端資料存在分隔符，可正常寫入
4.1.11.4	實時任務支援
4.1.11.5	資料同步資料來源的配置方式為「選表」時，目標表為明細模型，選擇「自動建表」欄位映射同步來源表的非空資訊
4.1.14.1	資料連結支援配置套接字逾時（SocketTimeout 設定項中配置），控制資料庫查詢時間在一個合理範圍內，避免出現無限等待的問題
4.2.1.4	資料開發-實時任務中的 DB 表匯出功能中，目標表若為自動建表，表類型支援明細模型；支援僅新增流的無主鍵插入
4.0.23	定時任務輸入匯出支援 Doris 管道任務資料匯出支援 Doris
4.2.3.1	資料開發-定時任務中寫入 Doris 時，支援設定列欄分隔符
4.2.4.3	「列分隔符」增加「推薦分隔符」為\x02，同時預設選中，保證取代為列分隔符後低版本 Doris 資料正常。
4.2.7.3	定時任務支援選擇 Doris 的分割槽表作為資料來源定時任務&管道任務支援選擇 Doris 分割槽表作為資料去向定時任務&管道任務自動建表支援指定分割槽資料服務支援選擇 Doris 資料連結
4.2.8.4	寫入 Doris 時，支援設定資料分批、寫入間隔
4.2.12.2	目標端為 Doris，支援開啟交易控制
4.2.12.3	刪除 FetchSize 配置項
4.2.13.4	適配 HTTPS 協定
4.2.16.2	進階設定中新增「參數配置」

1.3 應用場景

FineDataLink 支援連結 Doris，進行定時任務讀寫、定時管道和實時管道任務寫入、作為資料服務資料發佈源、實時任務寫入。

2. 使用限制

1）Doris 資料源在功能上的使用限制說明請參見：Doris資料源使用說明

2）在建立資料連結前，請確定 FineDataLink 能正常存取 Doris 資料庫的 FE 和 BE 節點。

3）使用 Doris 作為資料寫入端時，請確定 FE 節點可以正常存取 BE 節點。

4）在 Doris 資料連結中，所使用的資料庫使用者需具備 admin 權限，以確定 FineDataLink 功能的正常運作。

3. 配置資料連結

3.1 前提條件

詳情請參見：資料連結概述

3.2 版本和驅動

資料庫	資料庫版本	下載驅動
Doris	0.14及以上版本	FineDataLink已內建相關驅動，無需手動下載安裝

3.3 收集連結資訊

在連結資料庫之前，請收集以下資訊：

資料庫所在伺服器的 IP 地址和埠號。
資料庫的名稱。
資料庫的帳號和密碼。

3.4 具體連結步驟

建立資料連結步驟請參見：建立並管理資料源

部分設定項說明如下表所示：

設定項

說明

FE 節點地址

如果 Doris 作為資料寫入端時使用，則需要配置 FE 節點

值說明：

填寫 IP 地址或主機名以及埠號

多個地址以,隔開

HTTP 協定：

若適配 HTTP 協定，格式為：ip:port。其中 IP 是 FE 節點 IP，port 是 FE 節點的 http_port；可使用show frontends語句，查詢 fe 相關埠
例如：192.168.101.71:8030,192.168.101.209:9030；可以填寫多個，系統將以輪詢方式進行資料寫入；填寫多個 FE 節點地址時，將選取第一個可用的 FE 節點進行連結

HTTPS協定：

4.2.13.4 及之後版本，新增適配 HTTPS 協定，格式為：https://ip:port
支援填寫多個地址，多個地址間用英文逗號隔開，系統將以輪詢方式進行資料寫入；填寫多個 FE 節點地址時，將選取第一個可用的 FE 節點進行連結

SocketTimeout（4.1.14.1 及之後版本新增）

1）值說明：

配置當前資料連結的套接字逾時，單位為秒，預設值為 3600

輸入框要求為非負整數，配置為 0 時，視為不設定逾時

2）該設定項應用場景：

在網路發生抖動時，可能會出現管道&定時任務發出查詢後，無限等待傳回資料的問題，使用者維運時，看不到報錯，但實際任務已不再同步資料

配置該設定項後，將控制查詢在一個合理的範圍內，達到套接字逾時時間後，SQL 語句會自動中斷報錯，避免出現無限等待的問題

3）該設定項控制的功能範圍：

定時任務：對應資料源讀寫、SQL腳本執行、參數指派、全局指派參數
管道任務：對應資料源讀寫
資料發布：對應資料源查詢
庫表管理：SQL執行

參數配置

4.2.16.2 新增此配置，支援配置參數

參數配置、適用範圍及沖突說明請參考官方文檔：Apache Doris

使用場景：

大數據量場景下，可透過參數配置僅更新指定欄位。

例如：新增參數 partial_columns，參數值為 true。寫入 doris 時，取消部分表的欄位映射，效果如下：

任務類型	目標表類型	實現效果
定時任務	明細模型	取消映射的欄，被重新整理為 null
	主鍵模型-寫時合併	取消映射的欄，保留原值
	主鍵模型-讀時合併	取消映射的欄，保留原值
	聚合模型	取消映射的欄，被重新整理為 null
管道任務		取消映射的欄，保留原值
實時任務		取消映射的欄，保留原值

注：如果資料服務並發量較大，建議調大最大活動連結數，防止因資料服務高並發請求導緻資料連結失敗

4. 任務開發

詳情請參見：Doris資料源使用說明

已經是第一篇

已經是最後一篇

有幫助
沒幫助
只是瀏覽

中文（简体） English

中文（繁體）

配置Doris資料源